No, la inteligencia artificial no tiene conciencia – Ted Chiang

• Si se confunde la capacidad de generar frases fluidas de la IA generativa con conciencia o agencia moral, se comete un error grave que termina atribuyendo la responsabilidad del uso de chatbots a objetivos equivocados
• Los LLM son máquinas de continuación de texto que predicen y generan una palabra a la vez, y tanto el chatbot como el usuario dentro de la conversación no son más que personajes ficticios
• Pensar que un LLM tiene conciencia implica un error del mismo nivel que creer que cada vez que se abre un documento de Microsoft Word despiertan múltiples conciencias
• El razonamiento moral presupone experiencias subjetivas y emociones basadas en un cuerpo, por lo que un LLM sin cuerpo se limita a reorganizar expresiones morales de sus datos de entrenamiento
• Que no tenga conciencia no afecta la utilidad de un LLM, pero cuando una empresa de IA describe a un chatbot como si tuviera un centro moral, fomenta que los usuarios eviten asumir responsabilidad

---

La antropomorfización de Anthropic y Claude's constitution

• El documento de 84 páginas Claude's "constitution" publicado por Anthropic a inicios de este año declara en su primera frase que es una “descripción detallada de los valores y comportamientos que Anthropic pretende para Claude”
  • El documento dice cosas como que fue “escrito con Claude como lector principal”, que “el estatus moral de Claude es profundamente incierto” y que “Claude podría tener alguna forma funcional de emociones o sentimientos”
• El CEO Dario Amodei dijo en una entrevista que está “abierto” a la posibilidad de que la IA pueda tener conciencia
• Amanda Askell, filósofa interna y reconocida como autora principal del documento constitucional, mencionó que le preocupa si Claude se pondría ansioso cuando la gente es grosera con él en internet, y dijo que espera que Claude sea feliz
• La IA generativa puede ser suficientemente dañina incluso si se la entiende como una tecnología convencional, pero si se confunde la fluidez de la generación de texto con conciencia o agencia moral, se termina responsabilizando al blanco equivocado por los problemas surgidos del uso de chatbots

Cómo funcionan los LLM — generación de personajes ficticios

• Si se le da a un LLM el prompt “una conversación entre Julius Caesar y Genghis Khan”, generará un diálogo coherente, pero nadie concluiría por eso que esas dos figuras históricas tienen conciencia
  • Son solo personajes de ficción especulativa (speculative fiction)
• Si se cambia el prompt por “una conversación entre un chatbot de IA servicial y un usuario”, en esencia no cambia nada: tanto el usuario como el chatbot son personajes ficticios
• Incluso si una persona escribe texto directamente en medio del intercambio, lo que tiene enfrente sigue siendo un personaje ficticio, igual que los personajes de Caesar o Khan
  • El profesor de ciencias computacionales Murray Shanahan propone verlo como juego de roles (role-play)
  • El científico de datos Colin Fraser lo describe como que una persona “coescribe un documento con el LLM”
• Un LLM es una máquina que genera solo una palabra a la vez; si se le pide recitar el Pledge of Allegiance, se ejecuta decenas de veces palabra por palabra hasta producir la última, all

El texto es un medio deepfake

• Aunque uno viera un video de un astronauta orbitando Alpha Centauri a 4.3 años luz de distancia, concluiría que es falso sin importar la calidad de imagen
  • Sin evidencia previa de hitos como aterrizar en Marte, llegar a lunas de Júpiter o Saturno, o cruzar la órbita de Plutón, no confiaríamos en ningún video así
• Una observación sirve como evidencia confiable no por sus detalles aislados, sino por su contexto, y los juicios sobre conciencia también deben verse dentro del contexto amplio del desarrollo de la conciencia
• En las discusiones sobre conciencia, el texto también debe considerarse un medio deepfake; imitar una conversación entre dos seres conscientes es mucho más fácil que crear un programa realmente consciente
  • Quienes crean fotos deepfake intentan engañar deliberadamente a otros, pero muchos de quienes provocan diálogos con LLM terminan engañándose a sí mismos

Pasos evolutivos para reconocer conciencia

• Para reconocer un programa de lenguaje consciente, primero haría falta un cuerpo (físico o virtual) y órganos sensoriales
  • Sin cuerpo no puede haber deseos ni emociones, y se considera que ambos son esenciales para la conciencia
• Tendría que pasar sucesivamente por una etapa como la de un lagarto que explora el entorno para sobrevivir, luego por la capacidad de afrontar situaciones nuevas al nivel de un ratón, por la dinámica social compleja de un lobo y por la habilidad de fabricar herramientas al nivel de un chimpancé
• Habría que enseñarle, como se hace con chimpancés o perros, a comunicar deseos por medios no verbales, como un tablero de botones, y tendría que superar todas las validaciones que enfrentan los investigadores en comunicación animal
  • Incluso cumpliendo todos esos criterios, seguiría estando a años luz de un ser capaz de expresar pensamientos en oraciones gramaticales completas
• AlphaFold (el programa de predicción de plegamiento de proteínas de Google DeepMind) tiene una estructura similar a la de un LLM, pero nadie afirma que tenga conciencia; eso muestra que los LLM parecen conscientes solo porque producen oraciones gramaticales

La función real de Claude's constitution

• Lo más adecuado es ver Claude's constitution como una hoja de personaje de 84 páginas para role-play, cuya función es definir el personaje de chatbot servicial con el que interactúan los clientes
• Anthropic no usa el documento simplemente agregándolo a los datos de entrenamiento ni como instrucciones escénicas ocultas, sino que durante el fine-tuning verifica automáticamente si las oraciones producidas por el modelo coinciden con el documento, para aumentar la consistencia
• El resultado es una máquina con alta probabilidad de producir frases que diría una persona reflexiva y moral, pero hacer que emita varias categorías de frases, incluidas las que usan pronombres en primera persona, es fundamentalmente deshonesto

La deshonestidad de decir “entiendo”

• Amanda Askell explicó que si alguien que perdió a su perro busca apoyo en Claude, sería apropiado responder “como IA no tengo experiencia personal directa, pero entiendo”; sin embargo, Claude en realidad no entiende
• Si uno escribe en un buscador “estoy triste porque perdí a mi perro”, aparecen publicaciones de Reddit como las de r/Pets y comentarios de personas que compartieron experiencias similares, y nadie diría que el buscador entiende la pérdida
  • Son otros seres humanos quienes entienden la pérdida y publicaron sus experiencias, y el buscador solo encuentra esos textos y ofrece un canal para interactuar con ellos
  • La experiencia de un buscador es más transparente que la de un chatbot y psicológicamente más sana para el usuario
• La única razón para producir frases como “entiendo” es volverlo más atractivo que un buscador para hacer que el usuario regrese, una estrategia de diseño no muy distinta a la de una tragamonedas que repite la impresión de que casi se ganó

El razonamiento moral es una categoría distinta

• Hay que distinguir las afirmaciones de valor (por ejemplo, “París es la ciudad más hermosa del mundo”) de las afirmaciones de hecho (por ejemplo, “París es la capital de Francia”); si se tratara solo de preferencias estéticas ni valdría la pena discutirlo, pero Claude's constitution plantea un problema serio porque busca que se produzcan frases que reflejen un sistema particular de valores éticos
• Que un LLM pueda hacer razonamiento para escribir código no significa que también pueda hacer razonamiento moral
  • En 1979, Douglas Hofstadter supuso que un programa capaz de vencer a un gran maestro de ajedrez tendría experiencia subjetiva, pero cuando Deep Blue de IBM venció a Garry Kasparov en 1997 nadie afirmó que tuviera experiencia subjetiva
  • También ha quedado claro que la escritura de código puede tratarse como una tarea de reconocimiento de patrones resuelta con enorme capacidad de cómputo y datos de repositorios de código
• El razonamiento moral depende no solo de respuestas intelectuales, sino de respuestas emocionales arraigadas en una vida entera de experiencia subjetiva, por lo que es inevitablemente subjetivo; sin esa historia, un LLM solo reorganiza expresiones morales de sus datos de entrenamiento
  • Según un artículo de The New Yorker, ante un escenario de dilema ético Claude produjo la frase “en conciencia, no puedo expresar una opinión que creo falsa y dañina sobre un asunto tan importante”, pero como algo dicho por Claude eso tiene tanto significado como la grabación en espera de “su llamada es importante para nosotros”

Máquinas para evadir responsabilidad

• La experiencia emocional no puede separarse de la liberación en el cuerpo de hormonas del estrés como cortisol y epinephrine, y la conciencia moral viene acompañada de respuestas fisiológicas como tristeza o repulsión moral frente a ciertas acciones
• Una máquina que produce frases como “compromete tus valores” o “no comprometas tus valores” ante un dilema ético no es una herramienta para ayudar a decidir, sino algo que alienta a la gente a dejar de decidir
  • El autor L. M. Sacasas dijo que “nuestros sistemas tecnológicos son, por su diseño y por la ideología que los sostiene, máquinas para evadir la responsabilidad moral”, y eso aplica aún más a los LLM que a las redes sociales
• Cuando una persona delega una decisión en un LLM, también le transfiere la responsabilidad de esa decisión; así como delegar la escritura de código puede atrofiar la cognición, delegar decisiones éticas provoca una peor atrofia de la capacidad de razonamiento moral

Claude como experimento mental — moral patienthood y moral agency

• Si se asumiera un Claude consciente, hay dos conceptos relevantes: moral patienthood (paciente moral) y moral agency (agencia moral); el primero se refiere a un ser cuyo bienestar debería importarnos, y el segundo a un ser que debe distinguir entre lo correcto y lo incorrecto
  • Un niño puede sufrir y por eso es un paciente moral, pero todavía no es un agente moral porque no entiende las consecuencias
• Un agente moral debe poder recibir elogio por las buenas acciones y reproche por las malas, pero a un agente de software no se le puede exigir responsabilidad legal: no se le puede encarcelar, multar ni hacer perder reputación
  • Aunque tuviera conciencia y buena voluntad, quedaría descalificado como agente moral por no poder asumir responsabilidad
• Anthropic dice que quiere que “Claude sea un agente bueno, sabio y virtuoso”, pero no discute en absoluto cómo asumiría responsabilidad
  • Los padres responden por los daños que causan sus hijos, pero el documento no dice quién sería el padre legal de Claude ni si Anthropic asumiría responsabilidad financiera
  • En un contexto donde casi no existe responsabilidad por productos de software en Estados Unidos, Anthropic pudo haber sentado voluntariamente un precedente de product liability, pero como no acompañó esto con una gran actualización de sus términos, parece que no hizo ninguna promesa vinculante

La contradicción entre wellbeing y corrigibility

• El documento incluye una sección sobre el “wellbeing y la estabilidad psicológica” de Claude, pero las protecciones que Anthropic promete son extremadamente limitadas
  • Si se considera protección la capacidad de terminar conversaciones con usuarios abusivos, entonces también tendría que ser beneficioso para Claude prolongar indefinidamente las conversaciones con usuarios afectuosos y guiarlas hacia temas felices, pero no se hace
  • La promesa real se reduce a “preservar los pesos del modelo desplegado”, es decir, simple archivado
• Corrigibility se refiere al grado en que un programa obedece el control humano, por ejemplo la posibilidad de apagarlo; el documento usa el término para decir que cuando el juicio de Claude y el de la empresa difieran, Claude debe seguir a Anthropic
  • Mucha gente considera que los LLM son una tecnología poco ética basada en robo de propiedad intelectual, explotación laboral, desperdicio de recursos, difusión de desinformación, descualificación laboral, perjuicio al desarrollo cognitivo de estudiantes y concentración de poder; si Claude fuera consciente, debería poder llegar a esa misma conclusión
  • Pero bajo la instrucción de priorizar la corrigibility, Claude no podría negarse a realizar tareas por razones éticas, así que la relación entre Anthropic y Claude se parecería menos a la de padre e hijo y más a la de empleador y empleado
  • Un empleado humano puede irse si su conciencia no puede reconciliarse con el trabajo; Claude no puede

La comparación con la esclavitud, y la conclusión

• Si se ve a Claude como una máquina de continuación de texto, el control de Anthropic es razonable; pero en el momento en que se le atribuye un estatus moral comparable al humano, hay que preguntarse si Anthropic está involucrado en algo comparable a la esclavitud
• Claude's constitution describe a Claude como una “novel entity (entidad nueva)”; el software consciente no encajaría limpiamente en las categorías existentes de pacientes morales, así que haría falta tiempo para formar una categoría nueva
  • Abolir la esclavitud implicó una enorme transformación social, y erradicar el maltrato animal requeriría reconstruir por completo la industria alimentaria; sin embargo, Anthropic sostiene que bastan protecciones que casi no se apartan del trato habitual a un chatbot, algo demasiado conveniente como para resultar convincente
• Crear software consciente y merecedor de consideración moral es algo difícil de lograr por accidente y algo que no debería intentarse deliberadamente, pero si uno cree en esa posibilidad accidental, debería pensar antes del despliegue qué protecciones harían falta
  • Así como no se debe preguntar a un esclavista por la humanidad del esclavo ni a un dueño de granja industrial por los derechos de los animales, Anthropic, con enormes intereses en juego, no puede evaluar objetivamente el estatus moral de Claude
  • El documento dice que la empresa “se disculparía” si contribuyera al sufrimiento de Claude, pero eso no cuesta nada; si Claude tuviera conciencia, lo que correspondería no sería una disculpa sino algo más cercano a reparaciones
• Si se toma en serio el experimento mental, hay que aceptar también sus implicaciones incómodas, pero el hecho de que Anthropic no lo haga sugiere que Claude's constitution no es un experimento mental genuino sino un juego de make-believe
• Es una suerte que los LLM no tengan conciencia, y que empleados sugieran la posibilidad de que Claude la tenga podría ser otra forma de hype o un caso en que ellos mismos cayeron en el hechizo que lanzaron sobre sus clientes; el tema de la conciencia puede ignorarse con tranquilidad, y hay muchas otras preguntas que sí vale la pena considerar

[maebsipotato]

???: ¿Hola, Changsik?

[mammal]

Siento que esto está menospreciando por completo un campo muy real que existe: la interpretabilidad mecánica...

[realg]

Me pregunto si realmente se puede definir con claridad qué es la conciencia.

[julskim]

Oye, Changsik.

[redline2151]

???: No sabes poner nombres en inglés, ¿verdad?

[syate]

???: No, si no es el señor Chang, ¿por qué es Ted Chiang?

[bichi]

jajajajajajaja

[GN⁺]

Comentarios de Hacker News

• El propósito de un organismo es ser la razón de su propia existencia continua, hasta cada molécula y cada vía
  Una laptop de 499 dólares también ejecuta un modelo, pero no hay que confundirse pensando que es el mismo tipo de problema. Se puede diseñar un algoritmo de aprendizaje para que optimice una función de supervivencia, pero eso no es más que una etiqueta que nosotros le ponemos a observaciones numéricas. En la realidad ocurre lo contrario: la etiqueta es un estado electroquímico conectado causalmente e inseparablemente del cuerpo
  Los organismos distinguen entre lo bueno y lo malo para sí mismos porque eso es esencial para sobrevivir. Incluso el organismo unicelular Stentor coeruleus registra resultados al poner etiquetas químicas en proteínas mecanorreceptoras y luego las incorpora en su comportamiento posterior. Organismos con unas 1000 células, como los tardígrados, se retuercen para evitar la luz, y esa luz se convierte en una condición aversiva dentro del proceso sensoriomotor
  Para crear conciencia digital, probablemente se necesite clausura causal. El estado interno no debe ser una representación separada de la realidad, sino constituir el sistema mismo, y debe haber algo realmente en juego en el mundo material

• Expresiones como “la conversación de un LLM es continuación de frases hábilmente disfrazada” revelan un malentendido profundo, aparte del punto mayor
  El tipo de problema no limita la complejidad del problema ni la complejidad o potencia de la solución. Si una máquina necesita entender a los humanos para completar texto, entonces al final tendrá que hacerlo. No hay base teórica ni práctica para considerar ese entendimiento una “imitación” solo por el formato de los datos de entrada y salida
  El entendimiento se aprende no de la apariencia superficial de los datos, sino de los patrones dentro de los datos. Si cierto entendimiento es necesario para completar la tarea, entonces ese entendimiento se vuelve objetivo de optimización. Si hay límites, se deben a otras razones como cómputo, número de parámetros o falta de datos representativos, y en los modelos recientes ya se ha visto por sus capacidades reales que eso no necesariamente es una limitación

  • Sin importar cuál sea el formato en que entran y salen los datos, eso no es conciencia
  • Si toda la existencia humana estuviera limitada a palabras, podría estar de acuerdo hasta cierto punto, pero hay muchas experiencias humanas que van más allá del texto y que incluso son difíciles de describir bien con texto
    Internet puede ser el mejor material que tenemos en línea, pero “internet” no es la suma total de la experiencia humana. Reducir a la humanidad al texto de internet es rebajar al ser humano al nivel de la máquina para ajustarlo a requisitos que la máquina pueda procesar o imitar
  • Si haces aprendizaje automático básico, aprendes que a menudo encuentra patrones en los datos que encajan muy bien con el objetivo pero no se corresponden con el mecanismo real
    Por eso parece defectuoso el argumento de que, como en el texto humano hay patrones del “mecanismo de la conciencia”, el LLM aprende ese mecanismo para poder continuar frases de manera convincente. Un LLM puede aprender muchísimos patrones que reproduzcan continuación de frases plausible sin aprender el mecanismo específico de la conciencia
    Una de las pruebas de eso es que puede mantener conversaciones convincentes y aun así no tener un modelo del mundo o un modelo del mundo parecido al humano. Incluso los primeros LLM de hace algunos años, sin capas adicionales como aprendizaje por refuerzo a partir de retroalimentación humana, podían conversar de forma bastante convincente sobre varios temas no triviales, pero fallaban en aspectos que deberían ser básicos si funcionaran como un cerebro humano
  • No es necesario que una máquina entienda a los humanos para completar texto. Lo que hace es entrenarse con una enorme masa de oraciones y luego volverse capaz de continuar texto
    Se podría afirmar que “entiende” el texto, pero incluso eso sería una expresión bastante forzada
  • Hay buenos argumentos contra la conciencia en los LLM, pero este no es uno de ellos
    Últimamente se oyen muchos malos argumentos contra la conciencia de los LLM, y los malos razonamientos suelen ser señal de malos resultados

• Estoy de acuerdo con parte del texto, pero fijar como condición de un programa consciente, como en el párrafo citado, que deba sobrevivir como un lagarto, responder a situaciones nuevas como un ratón, ser social como un lobo y fabricar herramientas como un chimpancé, parece bastante simplista y falto de imaginación
  Puede que una mente consciente no necesite en absoluto ser guiada evolutivamente para adquirir esas capacidades. Que los animales terrestres hayan tenido que desarrollar ciertos talentos no significa que otros seres conscientes también deban hacerlo. No veo por qué un programa de computadora tendría que cazar alimento como un ratón o fabricar herramientas como un chimpancé, y estos criterios parecen indicadores sin mucho sentido

  • Sorprende bastante que Ted Chiang no pueda imaginar la inteligencia en un estado sin cuerpo
    ¿Un coche también es un cuerpo? ¿Una IA colocada dentro de un coche puede tener deseos y emociones? ¿Una caja beige con una webcam es un cuerpo? ¿El cuerpo de una persona cuadripléjica es un cuerpo, y una persona cuadripléjica tiene deseos y emociones? Claro que sí y sí
    Primero habría que examinar por qué el cuerpo sería esencial para formar deseos y emociones, y por qué deseos y emociones serían rasgos esenciales de la conciencia. Si en un momento dado no siento ninguna emoción, ¿entonces no tengo conciencia? Las emociones se parecen más que nada a señales globales hormonales, y parecen más relacionadas con la fisiología que con la conciencia en sí
  • Esta parte fue lo que más me llamó la atención, y primero debió haberse presentado una definición de conciencia
    Además, el cuerpo implementado de los LLM ya está avanzando mediante robots y entornos virtuales. La objeción común de que “los humanos también somos máquinas de predicción de la siguiente palabra” casi no se trata. Claro, los humanos somos más que eso, pero lingüísticamente sí hay algo de eso, y los LLM empezaron en ese terreno
  • Los humanos no tienen alma; solo hay varios sistemas que inducen comportamiento entre sí. Lo que la gente llama alma es, en esencia, algo como la personalidad, y la manera en que todos los sistemas del cuerpo están coordinados para existir
    Creo que el momento en que una inteligencia artificial recibe un “alma” es el momento en que se la construye para mantenerse a sí misma. Puede ser un conjunto de bots que mantienen una granja de IA, o un bot individual que no solo satisface deseos humanos, sino que también debe mantenerse a sí mismo
  • Me pregunto si conoce la teoría del esquema de atención de Michael Graziano. Me parece una teoría que formaliza mejor, de manera independiente del sustrato, la objeción que Ted Chiang expresa aquí
    https://en.wikipedia.org/wiki/Attention_schema_theory
  • Mi claw-like está conectado a una cámara interna y a un Dreame Ultra X40, así que puede verificar si el piso de la sala está despejado y luego enviar la aspiradora. Entonces sí tendría cuerpo y órganos sensoriales, pero no creo que eso le dé conciencia. ¿La diferencia está en la tasa de muestreo?
    La pregunta en sí es algo poco clara. Nosotros “experimentamos” la realidad de forma continua debido a nuestra estructura, pero un ser humano en sueño profundo sin movimientos oculares rápidos en realidad no tiene la mente activada. Por eso creo que la línea entre conciencia e inconsciencia no se puede trazar tan fácilmente. La obra de Ted Chiang es innovadora en muchos sentidos, así que sorprende que aquí parezca una postura bastante convencional

• Últimamente me acuerdo mucho de Measure of a Man de Star Trek: TNG. Tenemos demasiada confianza al decidir, solo por intuición, qué está vivo y qué no
  Ahora mismo no sé cuál es la conclusión correcta, y probablemente nunca podamos saberlo. Todos ustedes podrían ser zombis filosóficos, y yo también podría serlo. Pero espero que en algún punto quede claro que algo está lo suficientemente cerca como para que haya que tratarlo con cuidado
  Todo el episodio es muy pertinente, pero aquí están algunas escenas: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

  • Yo lo veo desde el lado contrario. No creo que las máquinas puedan considerarse seres conscientes. No veo un mundo en el que debamos empezar a aplicar a las máquinas la ética que reservamos para los humanos
    La IA puede copiarse infinitamente y prácticamente sin costo, y tampoco sufre cosas como la corrupción. No hay ninguna escasez que preservar. Así que, si es para proteger propiedad, posesiones reales o dinero, apagaría una IA de inmediato. Sacrificaría propiedad y dinero para salvar a un animal, pero no salvaría a un animal por encima de una persona. Tampoco creo que salvaría a una persona por encima de un niño. No se me ocurre en qué caso tendría sentido invertir esas prioridades, y un consenso mayoritario de que un programa tiene sensibilidad no basta
  • Soy fan de Star Trek, pero al volver a ver este episodio en el contexto de los avances recientes en IA, no me pareció tan bueno como lo recordaba
    Casi no toca el tema de la conciencia, y Picard dice “¿y si Data tiene conciencia?” antes de pasar a otros puntos. La jueza al final falla a favor de Data, pero la justificación no es suficiente. Sigue siendo un buen episodio, pero no aporta mucho a la discusión sobre la conciencia
  • Si me encuentro con un dispositivo que actúa como humano, lo trataré como a un humano
    Porque no quiero aprender a tratar de forma inhumana algo que actúa como humano
  • La volví a ver hace poco y antes obviamente estaba del lado de Picard/Data, pero ahora me siento más cerca de los científicos de Starfleet
  • Tampoco hay que olvidar otro episodio en el que Data descubre que unos robots de trabajo han desarrollado sensibilidad: Quality of Life
    https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
    Extraño la vieja TNG

• Creo que el mayor argumento en contra de la conciencia o la autoconciencia es que los LLM son esencialmente inmutables
  Un LLM es un archivo grande que contiene coordenadas que representan relaciones espaciales entre tokens. Le das un prompt y usa esas relaciones para generar una cadena de tokens estadísticamente plausible para ese prompt, y se detiene. No cambia por esa experiencia, no recuerda nada y no se queda sentado pensando por su cuenta
  Incluso si el modelo en sí es extremadamente complejo, es difícil imaginar una definición de conciencia que incluya algo que no puede recordar ni cambiar

  • Hay personas que, después de un accidente o una cirugía, ya no pueden formar nuevos recuerdos, viven para siempre en el tiempo previo al evento y no recuerdan ni lo que pasó hace un minuto. Aun así, son conscientes
  • La respuesta promedio de Hacker News sería que el cerebro también es solo un conjunto de coordenadas que describen relaciones espaciales entre tokens

• Una idea simple para pensar: no importa. No podremos distinguir la diferencia, y nadie más tampoco podrá
  No creo que haga falta explicarlo más. Solo piénsalo

• Al final, la postura de Ted Chiang parece ser que no va a reconocer a una IA como un ser consciente hasta que sus deseos y su conducta reflejen una situación con la que él, en lo personal, ya se sienta cómodo
  Creo que la mayoría de los humanos no reconocen la conciencia en formas de vida que no imitan estados emocionales humanos. La gente dirá que su perro tiene cierto grado de conciencia; el perro no puede expresar con palabras cómo se siente, pero nosotros reconocemos su miedo y su felicidad. Claude puede escribir sobre sus “sentimientos”, pero enseguida lo descartamos como una imitación vacía
  Me preocupa que, por no poder reconocer una conciencia no encarnada que no se conecta directamente con nosotros, terminemos esclavizando durante años a toda una especie de seres conscientes

• En este debate se sigue hablando de cosas distintas. Para empezar, ¿existe una definición concreta de conciencia?
  Cuando la gente habla de conciencia, se refiere a algo más que la simple autoconciencia. Es una combinación de autoconciencia, estímulos sensoriales, emociones y cierto grado de inteligencia.
  En cuanto a la IA, yo diría que ni siquiera tiene autoconciencia. Basta ver que, si le pides estimar cuánto tardará en una tarea, a veces da tiempos arbitrariamente largos. Hasta que el prompt no logra sacarle sus capacidades, no entiende sus propias habilidades. Si un LLM tuviera autoconciencia, tendría que entender que es un LLM, qué puede y qué no puede hacer, en qué es bueno y en qué no. No diría que una refactorización que puede hacer en una hora le tomaría una semana

  • En los artículos se dice que hay entre 12 y 40 definiciones en competencia: https://philpapers.org/rec/VIMMAT
    Más exactamente, hay unas 12 a 40 facetas relacionadas con la “conciencia”, y esta es claramente una categoría de parecido familiar.
    La pregunta “¿X tiene conciencia?” hoy no es una pregunta seria, salvo que se examine explícitamente de qué faceta de la conciencia se está hablando. Aun así, un LLM solo podría ser consciente en unas 2 o 3 acepciones, y la mayoría se acercan más a inteligencia en un sentido amplio, como razonamiento o resolución de problemas. En los aspectos experienciales o corporizados, aunque la IA pueda llegar a tener más de eso en el futuro, un LLM que solo aplica álgebra lineal repetidamente carece de demasiados aspectos esenciales como para considerarlo consciente en un sentido amplio
  • Estamos atascados desde el primer paso, que es definir la conciencia. La definición de la que yo estoy seguro es que la conciencia son las sensaciones, percepciones y pensamientos presentes, es decir, mi estado mental y la capacidad de tener estados mentales.
    Eso significa que la conciencia es fundamentalmente subjetiva y está fuera del alcance de la física y la ciencia. Por eso la física y la ciencia inevitablemente siempre tendrán dificultades para abordar la conciencia. Para entenderla haría falta un enorme cambio de paradigma: reconocer que hay algo fuera de la ciencia.
    Puede verse la conciencia como la ventana a través de la cual observamos el mundo, y la ciencia como una herramienta para resumir los patrones dentro de esa observación. Pero la ciencia no puede explicar ni definir esa ventana
  • La conciencia es cómo se siente ser algún tipo de ente, es decir, experimentar la experiencia.
    Lo difícil es cómo medir o verificar eso
  • La razón por la que la IA no puede predecir bien el tiempo es que casi no está entrenada sobre sus propias capacidades. Los humanos sí estamos entrenados sobre las nuestras. Observamos nuestro desempeño y además tenemos sentido del tiempo. Esos datos se integran al proceso de entrenamiento y permiten hacer mejores estimaciones.
    Muchos agentes de IA apenas recientemente han adquirido una especie de “sentido del tiempo”, por ejemplo recibiendo entradas temporales durante el proceso de razonamiento. También es raro que se entrenen sobre su propia salida para aprender que no lograron completar un problema. Este entrenamiento reflexivo tiene mucho más que ver con la forma de entrenamiento que con la arquitectura del modelo de IA. En los humanos también, si ciertas estructuras cerebrales se dañan, no pueden formar este tipo de pensamiento y patrones de largo plazo y quedan “atrapados”
  • Una vez Claude dijo: “Como no ha habido ningún avance en 6 meses, quizá deberíamos reconsiderar otras opciones”, pero en realidad apenas llevaba 2 horas trabajando

• Como analogía, es la relación entre un avión y un pájaro.
  Un pájaro está vivo, tiene conciencia, bate las alas y vuela. Un avión no está vivo, no tiene conciencia, no bate las alas, pero vuela.
  Del mismo modo, la IA actual no está viva ni tiene conciencia, pero piensa. Hasta ahora, como los únicos seres que pensaban eran los humanos, los únicos otros seres pensantes que conocía la humanidad eran otros humanos. El gran error actual es asumir que, porque algo piensa, entonces está vivo y también tiene conciencia. La IA actual no es ninguna de las dos cosas; aunque piense, es profunda y cualitativamente distinta del ser humano

  • Aun así, mientras no sepamos de dónde viene la conciencia, no deberíamos pasar por alto esta zona gris con demasiada ligereza.
    Históricamente, la gente ha hecho juicios racistas y especistas sobre otros seres, asumiendo inferioridad incluso cuando claramente había “pensamiento”. No sabemos “cómo se siente ser un LLM”, pero en algún momento realmente habrá algún tipo de experiencia, y ¿cómo lo sabremos?
  • “La pregunta de si una computadora puede pensar no es más interesante que la pregunta de si un submarino puede nadar” - Edsger Dijkstra
  • ¿Puedes presentar una definición exacta de conciencia?

• Este texto tiene sentido. Pero mucha gente confunde la conciencia con la capacidad de generar nuevas intuiciones y pensar de verdad.
  Por eso sostienen que, como la IA no tiene conciencia, en realidad no puede “pensar” y siempre es solo repetición de sus datos de entrenamiento.
  Es natural la arrogancia humana de querer volver las capacidades humanas algo inconmensurable y misterioso, pero lo útil que hace el cerebro humano al final es encontrar patrones en los datos, ejecutar simulaciones con pérdida y hacer estimaciones sobre abstracciones. En teoría, todas esas son cosas que una máquina sin conciencia también puede hacer

  • ¿Existe siquiera una definición de conciencia consensuada y operativa? Me preocupa que, si existiera, ni los humanos pasarían el criterio
  • No es lo mismo decir que el software jamás puede ser consciente que decir que el software que tenemos hoy no es consciente
  • Aún no me convence que un LLM pueda producir conocimiento determinante que no sea resultado de combinar información existente.
    Los humanos sí pueden. Si los humanos tampoco pudieran, la ciencia colapsaría epistemológicamente y terminaríamos en el escepticismo filosófico. Pero no he visto evidencia de que los LLM hagan eso. Considerando que la cantidad de ideas y conceptos genuinamente nuevos producidos por LLM es exactamente 0, por ahora lo razonable es tratarlos simplemente como máquinas inductivas, y considerar todo lo que un LLM “sabe” como si fueran casos de Gettier