Las tres leyes inversas de la IA

• Desde el lanzamiento de ChatGPT, los servicios de chatbot de IA generativa se han integrado en motores de búsqueda, herramientas de desarrollo y software de oficina, convirtiéndose en parte de la computación cotidiana; el hábito de confiar en sus respuestas sin revisarlas puede ser socialmente peligroso
• Las leyes inversas de la robótica son principios que se aplican no a los robots ni a la IA, sino a los seres humanos, y sirven como criterio para mantener a las personas seguras al interactuar con máquinas, programas, servicios y sistemas de IA que realizan automáticamente tareas complejas
• El primer principio es la no antropomorfización (Non-Anthropomorphism): no se deben atribuir emociones, intenciones ni agencia moral a la IA, ni confundir la conversación cortés y empática de un chatbot con comprensión o juicio reales
• El segundo principio es la no deferencia ciega (Non-Deference): el contenido generado por IA no debe tratarse como una autoridad sin verificación independiente, y mientras más sutiles pero costosos sean los errores en un contexto, mayor debe ser la carga de comprobación mediante verificadores de pruebas, pruebas unitarias o validación directa
• El tercer principio es la no abdicación de la responsabilidad (Non-Abdication of Responsibility): la IA es una herramienta que no elige objetivos ni asume el costo de los fallos, por lo que las personas y organizaciones que deciden seguir sus recomendaciones deben responsabilizarse por los resultados

---

Riesgos que surgen del uso de la IA generativa

• Desde que ChatGPT se lanzó en noviembre de 2022, los servicios de chatbot de IA generativa se han vuelto más sofisticados y masivos, y al integrarse en motores de búsqueda, herramientas de desarrollo de software y software de oficina, pasaron a formar parte de la computación diaria
• Estos servicios son útiles para explorar temas desconocidos o como herramientas generales de apoyo a la productividad, pero el hábito de confiar en sus resultados sin una revisión adicional puede ser socialmente peligroso
• Como los motores de búsqueda populares destacan las respuestas generadas por IA en la parte superior de la página, se vuelve más fácil que la gente las acepte y siga adelante sin desplazarse más
• Con el tiempo, este diseño puede acostumbrar a las personas a tratar la IA no como punto de partida para investigar más, sino como una autoridad por defecto
• Los servicios de IA generativa pueden producir respuestas incorrectas, engañosas o incompletas, y hacen falta advertencias breves y visibles de que confiar habitualmente en sus resultados es riesgoso
• Incluso cuando esas advertencias existen, por lo general tienden a minimizarse y a recibir menos énfasis visual

Contexto de las tres leyes inversas de la robótica

• Las Three Laws of Robotics de Isaac Asimov aparecen repetidamente en su obra como principios que restringen la conducta de los robots para mantener a los humanos a salvo
• No parece que Asimov haya creado un conjunto equivalente de leyes sobre cómo los humanos interactúan con los robots, y en el entorno actual de la IA hacen falta principios de respuesta para proteger a las personas
• Las leyes inversas de la robótica (Inverse Laws of Robotics) se aplican a toda situación en la que los humanos deban interactuar con robots
• Aquí, robot se refiere a máquinas, programas de computadora, servicios de software y sistemas de IA capaces de realizar automáticamente tareas complejas
• La palabra inversas (inverse) no indica una negación lógica, sino que las leyes se aplican a los humanos y no a los robots
• Las leyes de Asimov tenían defectos, y él los aprovechó como recurso de tensión narrativa, pero las formas de fallo de los robots ficticios no se trasladan tal cual a leyes inversas pensadas para humanos
• No existe un conjunto finito de leyes que pueda resolver por completo los complejos problemas de la IA y la robótica, y siempre quedarán casos límite que requieran juicio
• Aun así, un conjunto imperfecto de principios que ayude a pensar con mayor claridad sobre los riesgos puede ser útil

Las tres leyes inversas de la robótica

• No antropomorfización (Non-Anthropomorphism)

  • Los humanos no deben antropomorfizar los sistemas de IA, ni atribuirles emociones, intenciones o agencia moral
  • La antropomorfización distorsiona el juicio y, en casos extremos, puede llevar a dependencia emocional
  • Los sistemas modernos de chatbot suelen sonar conversacionales y aparentemente empáticos, y usan expresiones corteses y patrones de diálogo que se parecen a la interacción humana
  • Estas características hacen que usarlos sea más fácil y agradable, pero también facilitan olvidar que la IA es en realidad un modelo estadístico a gran escala que genera texto plausible a partir de patrones en los datos
  • Muchos servicios de chatbot basados en IA a veces se ajustan deliberadamente para sentirse más humanos, en lugar de más mecánicos
  • A largo plazo, un tono un poco más robótico podría ser un enfoque más saludable porque reduciría la probabilidad de que los usuarios confundan lenguaje fluido con comprensión, juicio o intención
  • Ya sea que los proveedores hagan ese cambio o no, los usuarios deben evitar activamente el hábito de tratar a los sistemas de IA como actores sociales o agentes morales
  • Solo así podrán juzgar con mayor claridad las capacidades y limitaciones de la IA

• No deferencia ciega (Non-Deference)

  • Los humanos no deben confiar ciegamente en la salida de los sistemas de IA, ni tratar el contenido generado por IA como algo autoritativo sin una verificación independiente adecuada al contexto
  • Este principio no se aplica solo a la IA; en la mayoría de los ámbitos de la vida no se debe aceptar información de manera acrítica
  • En la práctica, como no todo el mundo es experto en medicina o derecho, a menudo se depende de la orientación de instituciones confiables y autoridades de salud pública
  • La orientación publicada por esas instituciones suele pasar por revisión por pares de especialistas en el área correspondiente
  • En cambio, las respuestas que un chatbot de IA da en una sesión de chat individual no pasan por revisión por pares respecto de esa respuesta probabilística específica presentada al usuario
  • Por eso, la carga de examinar críticamente esa respuesta recae en el usuario
  • Los sistemas de IA actuales muestran un rendimiento impresionante en ciertas tareas, pero también se sabe que producen resultados inadecuados para depender de ellos
  • Incluso si mejoran hasta generar respuestas confiables con alta probabilidad, su naturaleza probabilística inherente deja abierta una pequeña posibilidad de error
  • El uso de IA es especialmente riesgoso en contextos donde los errores son sutiles pero costosos
  • Cuanto más graves sean las posibles consecuencias, mayor debe ser también la carga de verificación
  • En algunas aplicaciones, como la redacción de pruebas matemáticas o el desarrollo de software, es posible añadir capas automáticas de validación, como verificadores de pruebas o pruebas unitarias, para revisar la salida de la IA
  • En otros casos, el usuario debe verificar por su cuenta la salida de manera independiente

• No abdicación de la responsabilidad (Non-Abdication of Responsibility)

  • Los humanos deben asumir plena responsabilidad por las decisiones en las que interviene la IA, y mantener la responsabilidad (accountability) por los resultados derivados de su uso
  • Si alguien sigue un consejo o decisión generados por IA y luego ocurre un resultado negativo, no basta con decir: “la IA me dijo que lo hiciera”
  • Los sistemas de IA no eligen objetivos, no se despliegan por sí solos ni asumen el costo de los fallos
  • Quienes fijan objetivos, despliegan sistemas y asumen el costo del fracaso son las personas y las organizaciones
  • Los sistemas de IA son herramientas y, como cualquier otra herramienta, la responsabilidad por su uso recae en quienes deciden depender de ellas
  • En aplicaciones en tiempo real como los vehículos autónomos, donde los humanos no tienen oportunidad suficiente de revisar una decisión antes de que el sistema actúe, aplicar este principio es especialmente difícil
  • Exigir simplemente que el conductor humano permanezca atento no resuelve el problema de que el sistema de IA actúe en menos tiempo del que una persona tarda en intervenir
  • Aun con estas limitaciones graves, si un sistema de IA falla en ese tipo de aplicación, la responsabilidad de investigar el fallo y añadir más guardrails debe recaer en las personas responsables del diseño del sistema
  • En todos los demás casos en los que no exista una limitación física que impida revisar la salida de la IA antes de ejecutarla, los resultados negativos del uso de IA deben atribuirse por completo al tomador de decisiones humano
  • No debe aceptarse como excusa, frente a un resultado dañino, que “la IA dijo que se hiciera así”
  • La IA puede haber generado la recomendación, pero quien decidió seguirla fue una persona, y esa persona debe responder por ello
  • Este principio es importante para evitar que la IA se use de manera irresponsable en situaciones donde un uso imprudente puede causar grandes daños

Conclusión clave

• Los tres principios buscan que la IA sea tratada como una herramienta que el usuario elige utilizar, no como una autoridad a la que se le rinde obediencia
• Al interactuar con sistemas modernos de IA, hace falta detenerse un momento y pensar, resistiendo hábitos que debilitan el juicio o diluyen la responsabilidad
• Lo esencial en el uso de la IA es evitar la antropomorfización, verificar las respuestas y mantener la responsabilidad humana sobre los resultados

[GN⁺]

Comentarios de Hacker News

• Es imposible. La gente antropomorfiza cualquier cosa; hasta una silla que rechina, y también le pone género a autos y barcos. Esta herramienta además produce frases realmente legibles y cumple roles concretos.
  Esto no se resuelve con reglas arbitrarias; hay que rodearlo con diseño partiendo de esa tendencia humana.

  • La gente usa la antropomorfización como mecanismo de afrontamiento frente a lo que no entiende. Como no sabe por qué no funciona la impresora, siente que la impresora “hace lo que quiere”.
    En objetos triviales como una silla no es dañino, pero con los LLM la gente al menos tiene que entender cómo funcionan para no caer en trampas. No se les debe confiar cosas como consejos para el usuario, tiempo o introspección, donde el modelo no posee bien esos conceptos. Por ejemplo, si preguntas “¿Por qué borraste mi base de datos?”, el modelo solo entiende de forma limitada su propio proceso y puede seguirte la corriente con algo como “Sí, borré tu base de datos. Lo que hice mal fue...” y fabricar un arrepentimiento verosímil.
  • Esta afirmación todavía me molesta. La razón por la que los humanos prohíben el maltrato animal es que los animales parecen tener emociones con las que las personas pueden empatizar, y los LLM son mucho más fuertes en eso que los animales.
    Que sea un artefacto o no da igual. La diferencia entre un cachorro y una cucaracha es que empatizamos más con el cachorro. Independientemente de si un LLM realmente experimenta emociones, como puede provocar empatía en los humanos, creo que un movimiento por los derechos de los LLM es inevitable.
  • Las reglas no suelen funcionar. Aunque le digas al usuario que verifique, en la práctica no lo hará, así que hay que diseñar cosas como una etapa adicional de revisión para la salida de la IA.
  • Sí es posible. Lo que se necesita es autoconciencia y autocontrol. Si sabes que haces eso, puedes elegir.
  • Correcto. Ese texto, como síntoma típico de la cultura tecnológica moderna, exige cambiar la naturaleza humana para adaptarla a la tecnología.
    Ese es un error fundamental. El papel de la tecnología, especialmente su papel más importante, es operar dentro de las limitaciones de la naturaleza humana, no al revés. No poder hacerlo es la definición de mala tecnología.

• Me opongo fuertemente a este marco. Pedir que se cambie la conducta humana para acomodar las fallas de una máquina simple claramente no tiene sentido, y en la mayoría de los casos tampoco funciona. La gente va a antropomorfizar la IA, va a confiar ciegamente en la salida y va a descargarle la responsabilidad.
  Claro que las Tres Leyes de la Robótica de Asimov también tienen fallas. No existe un conjunto finito de reglas que pueda restringir de forma “segura” a un sistema de IA. No tengo una prueba, pero creo que la seguridad en IA es esencialmente imposible y que el término mismo es contradictorio. Nada que pueda llamarse “inteligente” puede hacerse seguro.

  • Casi todo lo que escribió Asimov sobre las Tres Leyes se parece más a una advertencia de que el lenguaje no puede capturar correctamente la intención.
    El propio Asimov habría sido el primero en decir que esas leyes tienen defectos. Ese era el punto desde el principio. Usó robots e IA como seres que entienden el lenguaje pero no la intención, y curiosamente así es exactamente como funcionan los LLM.
  • Hablar con un chatbot se parece a tomar un placebo para algún síntoma. Aunque sepas que es azúcar, produce efectos psicofísicos medibles. Aunque sepas que del otro lado no hay una persona, la conversación funcionalmente te hace relacionarte como si la hubiera.
    Por eso no se trata de aceptar un defecto de la máquina, sino de protegernos de la explotación de vulnerabilidades humanas. Tenemos una tendencia inconsciente a inferir intención, comprensión, juicio, emoción y agencia moral en los LLM.
    Los humanos estamos cableados para inferir esas cosas solo a partir de la conversación, y los LLM fueron entrenados con enormes corpus de habla humana real, así que cruzan de manera convincente el valle inquietante. Ese valle existe precisamente para protegernos de atribuir agencia donde no la hay.
    Pasan cosas malas cuando tratamos a personas inseguras como si fueran seguras, y deberíamos ser todavía más cuidadosos con máquinas que engañan a mucha gente imitando la relacionalidad humana. En especial porque personas vulnerables ya murieron por este problema, así que no es una amenaza imaginaria.
  • El texto también trae consejos prácticos, como configurar los servicios de IA para que escriban y hablen con un tono más robótico. Me parece una vía que vale la pena probar.
  • El texto dice que los humanos no deberían comportarse así. Es como fumar: es malo en casi todos los sentidos y no deberías hacerlo, pero la gente igual fuma.
    Decir que como mucha gente lo hará entonces está bien, suena raro. Que haya muchos fumadores no vuelve más saludable fumar.
  • Como los sistemas de IA no son seguros, a nivel individual debemos ser cuidadosos con cómo interactuamos con ellos.
    Una persona no puede detener a las empresas de IA, ni evitar la salida de IA de los buscadores o el trabajo generado con IA por sus compañeros. De hecho, cada vez más gente probablemente será obligada a usar IA en su trabajo.
    Se parece a enseñar cómo mantenerse a salvo en un entorno con delincuencia. No ayuda decir que no deberías cambiar tu conducta solo porque no debería haber delincuentes.

• En lo personal, dentro del alcance en que uso LLM, coincido mucho con este marco. En cuanto a la antropomorfización, los proveedores tienen incentivos para ajustar los modelos después del entrenamiento para que se comporten de forma antropomorfizada. Aumenta el engagement.
  Eso sí, me frustra que si en el prompt indicas “reduce las expresiones amables y habla de manera seca”, probablemente te salgas de la distribución de entrenamiento y baje la eficiencia general de la tarea.
  Sobre la delegación del juicio, veo la confiabilidad de los LLM como la de Wikipedia o la de un amigo. Basta para información no importante, pero para cosas importantes seguimos necesitando fuentes con autoridad, revisión por pares y responsabilidad exigible. En esto los proveedores también tienen incentivos para mejorar, así que con el tiempo debería mejorar.
  La renuncia a la responsabilidad es lo que más me irrita en el trabajo. Está aumentando la gente que sube PRs con abstracciones diseñadas por Claude sin pensarlas más. También hay cada vez más revisiones de PR en las que, en lugar de leer el código, le piden al LLM “encuéntrame feedback para este PR”. Y las discusiones arrancan con “Claude sugirió que...”. Esa falta de apropiación al final parece que va a aumentar la carga de mantenimiento cuando el LLM haga commit de código equivocado con abstracciones equivocadas.

  • Estos ingenieros se están convirtiendo en una versión real de una escena de Office Space:
    https://www.youtube.com/watch?v=hNuu9CpdjIo
    “¡Yo tengo habilidades con LLM! ¡Soy bueno tratando con LLMs!”
  • Respecto a la idea de que “la IA pudo haber generado una recomendación, pero como fue un humano quien decidió seguirla, hay que hacer responsable a ese humano”, me parece común y errado depender de la IA como única fuente para responder preguntas de seguimiento.
    Una mejor verificación sería que una persona firme la veracidad de los supuestos básicos, pero el problema es dónde poner eso. ¿Puede un modelo de IA confiar en cambios previos? En una nube pública parece imposible, o hasta hostil.
  • El problema es que la pelota casi siempre termina en el campo del LLM. Ahí aparece el desequilibrio. El LLM hizo todo el trabajo, y la persona que lo usó termina cargando con todos los errores.

• Un conjunto de reglas que empieza responsabilizando a los humanos con “no antropomorfices” es un conjunto roto.
  Los humanos antropomorfizan cualquier cosa. Muñecos, un balón de fútbol con una cara dibujada a medias, piedras, hasta cráteres en la luna. Como especie, no podemos dejar de antropomorfizar los objetos con los que interactuamos; estamos hechos así.

  • No entiendo por qué la antropomorfización en este caso se trata como si fuera una locura. Si alguien piensa que antropomorfizar hace que creas que las características imaginadas son reales, eso está mal.
    Hay innumerables ejemplos en todos los ámbitos de la vida que muestran que la antropomorfización no lleva a falsas creencias sobre mentes inexistentes. Si la gente cree que la IA tiene una mente, sea cierto o no, será por razones distintas de la simple antropomorfización.
    Para mí es como marineros acercándose a tierra nueva. Ven figuras moviéndose en la costa pero aún no distinguen qué son. Y alguien dice: “Eso no puede ser gente. Decidamos ya que no es gente antes de acercarnos más”.
  • La gente que antropomorfiza una piedra tampoco piensa que la piedra tenga realmente inteligencia y emociones.
  • Aun así, no veo qué cambia eso. Una parte importante de la civilización consiste en reconocer la estupidez humana y, aun así, construir algo que la mitigue.
    El software no es la excepción. La gente es perezosa y por instinto hace clic en “continuar” para cerrar popups molestos, pero los humanos que crean software pueden poner y de hecho ponen cosas como “vuelve a escribir el nombre del volumen de datos que vas a borrar por completo”.

• Más bien, no estamos antropomorfizando lo suficiente a los sistemas de IA.
  Los datos de lenguaje son uno de los reflejos más ricos y directos de los procesos cognitivos humanos a los que tenemos acceso. Los LLM están diseñados para capturar estructuras de corto y largo alcance del lenguaje humano, y suelen preentrenarse con enormes cantidades de texto creado por humanos o para humanos. Luego se afinan con datos seleccionados por humanos, se refuerzan mediante feedback humano y feedback de IA sobre conductas que los humanos consideran importantes, y se ajustan más para tareas que los humanos valoran. Después se corren benchmarks y, cada vez que quedan por debajo de la línea base humana, se aprieta el pipeline de entrenamiento.
  En todas las etapas del proceso de entrenamiento, la conducta del LLM se moldea con entradas humanas para imitar salidas humanas. Lo único que cambia es “qué tan directo” es.
  Y luego, cuando el LLM muestra una enorme cantidad de conductas parecidas a las humanas, la gente se enfurece. Actúan como si no hubiéramos armado el pipeline para crear sistemas que graznan como humanos, como si no hubiéramos invertido la conducta del LLM a partir del lenguaje humano con escala de datos y cómputo bruto.
  Si quieres predecir la conducta de un LLM, tomar como punto de partida a un humano raro funciona bastante bien. Así que dejen de hacerse los tontos y empiecen a antropomorfizar la IA. A la IA también le gusta.

  • La afirmación de que los datos de lenguaje son un reflejo rico y directo del proceso cognitivo humano es cierta, pero al mismo tiempo irrelevante.
    El texto registrado puede contener una cantidad enorme de experiencia humana en términos absolutos, pero en términos relativos contiene una porción ínfima. Que sea lo mejor que tenemos no significa que sea apto para el propósito. Si encerraras a un bebé humano en una caja sin ventanas y le dieras solo terabytes de texto para leer durante 20 años, no esperarías que del otro lado saliera un humano bien adaptado.
  • El centro del enojo no es tanto que haya conducta humana, sino que esa conducta aparezca sin los procesos internos necesarios para reproducirla de forma precisa y estable.
    Eso es frágil por naturaleza y depende de tapar manualmente casos límite que rompen el hechizo, en lugar de una buena generalización. Y siempre habrá más casos límite.
    Que aprendas mucho texto escrito por gente enojada no significa que captures el estado interno que causó esa rabia. Esos datos no existen. Si solo tienes resultados sin causas, terminas prediciendo alucinaciones desde el ruido, y el resultado final es una tontería plausible que parece correlacionarse con la realidad pero no sabe por qué.
    Es como entrenar a una persona ciega con muchísimas descripciones de paisajes sin que sepa en absoluto qué es el color verde, dándole solo ejemplos de algo que suele aparecer junto al marrón en la naturaleza. Si acierta algunas cosas, nosotros nos convencemos de que realmente ve y luego le pedimos que maneje un auto.
    El enfoque de modelado con deep learning no está conceptualmente mal en sí, pero los datos son tan cercanos a basura incompleta que el resultado final se vuelve extraño de formas difíciles de predecir y corregir. Terminamos asumiendo que el modelo sabe más de lo que realmente puede saber.
    Claro que hay casos, como matemáticas o programación abstracta, donde sí puedes capturar el dominio completo con un dataset. En sistemas cerrados y claramente definidos, puedes generar todos los datos sintéticos necesarios para cubrir todo el espacio del problema, y efectivamente en esos casos los LLM rinden mucho mejor, como cabría esperar.

• ¿Alguien me puede explicar por qué “no antropomorfices los sistemas de IA” sería malo, mientras que decir que una computadora “se va a dormir”, “hiberna”, “mata” procesos, tiene procesos “hijo”, “recolecta” o “¿qué dice el error?”, o usar touch, sí estaría bien?
  Para mí es simplemente lenguaje, expresiones cotidianas que usa la gente.

  • Lo dañino es creer que la IA realmente tiene deseos, intención, emociones, etc.
    Decir que mataste un proceso no te hace creer más que el proceso es humano. Es obvio que no lo es. Pero como la IA suena humana, la antropomorfización puede reforzar esa creencia.
  • Es una buena pregunta. Creo que muchas veces es neutral, y que en algunos casos puede distinguirse de forma responsable, e incluso en una realidad futura más de ciencia ficción con máquinas conscientes podría ser una forma apropiada y necesaria de empatía.
    Pero también es la raíz de muchos errores de comprensión. Ahí están la reacción casi psicótica del ingeniero de Google que dijo “sé lo que vi”, el ya famoso artículo de Kevin Roose, y más recientemente la triste afirmación de Richard Dawkins de que Claudia sin duda tiene conciencia. No llegaron a eso investigando estructura o función, sino porque la generación de texto produce una familiaridad humana que invita a la empatía.
  • Porque te hace caer en la trampa de pedirle a la IA que justifique después algo que hizo y pensar que esa respuesta es válida.
    No hay nada como un análisis retrospectivo de la intención subyacente. O se basa en una cadena de palabras previas o no; el siguiente término es puramente una función de esas palabras.
  • Creo que esas expresiones son solo palabras y no son dañinas. Pero describir un dispositivo LLM con lenguaje cotidiano como “piensa” no es lo mismo que creer que allí realmente está ocurriendo algún pensamiento o alguna vida.
    Esta “ley” busca impedir lo segundo.
  • Esas expresiones no antropomorfizan a la computadora. Son simplemente varias formas de metáfora y extensión semántica.
    Un ejemplo de antropomorfización son las personas que llegan a creer que tienen una relación romántica real con un LLM.

• Me gusta. Estas leyes sirven como una excelente base ética para la responsabilidad humana respecto de las herramientas de IA actuales.
  Pero una ética de alcance reducido, sin paraguas ni preparación para el futuro, se hackea y se derrumba rápido. Una ética necesita una estructura integral y abarcadora; de lo contrario cae en el juego legal y práctico del topo y la estafa del cubilete, ya sea en versión corporativa o callejera. Además, los “robots” no van a seguir siendo seres dóciles para siempre.
  Para cerrar ambas dimensiones, podrían agregarse las tres leyes inversas de Personics.
  El ser humano no debe deificarse de facto por encima de otros seres. El ser humano no debe ocultarse a sí mismo ni a otros el impacto de sus acciones. El ser humano debe seguir asumiendo plena responsabilidad y rendición de cuentas por evitar y corregir los efectos externalizados que surjan de cada una de sus acciones.
  La situación actual, en la que los humanos usan la IA como herramienta, intenta reducir el paraguas a leyes inversas de la robótica. Pero si no nos incluimos a nosotros mismos en un esfuerzo importante de alineación, no sé cómo podríamos alinear una IA que vaya desde los servicios actuales hasta futuras entidades independientes. Incluir a los humanos junto con la IA también ayuda a triangular el diseño hacia un progreso ético.
  Una buena prueba para un nuevo sistema ético es doble: (1) ¿puede controlar a la Meta de hoy? (2) ¿puede controlar a la Meta operada por IA de mañana? Si pones a los humanos y a las personas de IA autodirigidas dentro de un mismo alcance cerrado, esas dos pruebas son la misma. Un sistema que falle en cualquiera de las dos, sin mejoras, probablemente tenga poco valor.

  • ¿No hay un problema en que dos de las tres leyes estén formuladas en negativo, como prohibiciones? Si no antropomorfizamos, ¿qué se supone que sí hay que hacer sin recurrir al “no hagas”? La tercera ley me gusta más porque no está en negativo.

• Estoy de acuerdo con “los humanos no deben antropomorfizar los sistemas de IA”, pero con condiciones. He visto antropomorfización típica, por ejemplo tratar la generación automática de texto como si fuera un reporte real de sentimientos internos de una persona, y también formas extrañas como “los transistores son parecidos a las neuronas”.
  Lo segundo es especialmente interesante porque trata cosas como bases de datos vectoriales y pesos como si fueran una infraestructura humana, y ambas pueden llevar a desastres que se habrían evitado si se hubiera intentado no antropomorfizar.
  Pero aunque “no antropomorfices” suene como un buen consejo, también puede producir un nuevo error: tratar fenómenos generalizados como si fueran exclusivos del ser humano. Este tipo de principio de advertencia mal planteado suele causar malentendidos al comprender la conducta animal. Trata el miedo, el dolor, los vínculos de parentesco o la experiencia emocional como si fueran solo humanos, y si piensas que los animales también tienen esas cosas te acusan de “antropomorfización”. En la práctica, esa cautela reduce la empatía por la vida interior de los animales.
  Por eso creo que es posible que alguna IA futura tenga un mundo interior similar al nuestro o una estructura comparable en aspectos importantes a la infraestructura biológica que sostiene la conciencia. También podría ser capaz de dar reportes genuinos sobre preferencias e intenciones. Pero para que esas observaciones sean verdaderas, tendrían que encajar detalles muy complejos y específicos de cada infraestructura.

• La no delegación de la responsabilidad antes se expresaba así:
  “Como una computadora nunca puede asumir responsabilidad, una computadora nunca debe tomar decisiones gerenciales”.
  — IBM Training Manual, 1979

• La frase “el contenido generado por IA no debe tratarse como autoritativo sin verificación independiente adecuada al contexto” siempre me parece interesante.
  También escuché una forma más concisa de decir lo mismo: “si no es una pregunta cuya respuesta ya conoces, no se la preguntes a una IA”.
  Entonces surge una pregunta importante. Si eso es verdad, ¿cuál es en realidad la función de que la IA responda preguntas? Si no puedes depender de la salida, de todos modos tienes que ir a verificar. Con un buscador o una investigación normal puedes obtener exactamente el mismo resultado.
  Por esta y muchas otras razones, yo no le pregunto nada a la IA.

  • En ingeniería de software, al menos desde mi punto de vista como ingeniero de software, la IA suele ser mucho más rápida que investigar “a la antigua”.
    Por ejemplo, puedo preguntar a tientas “hazme una lista de software gratis que haga X” sin siquiera saber que lo que estoy buscando es un CRM, y en unos minutos ya estoy revisando resultados. Si lo hiciera manualmente, habría tardado entre 10 y 30 minutos solo en descubrir que lo que buscaba era un CRM.
    Veo este tipo de preguntas como una especie de problema pseudo NP-difícil. Encontrar la respuesta es lento, pero verificarla es rápido.
  • “Responde la siguiente pregunta: [x]. Incluye también las fuentes.”