- Julien Crockett conversa con Ted Chiang sobre una amplia gama de temas, como la naturaleza del lenguaje, el estado actual de la IA y la dirección del desarrollo tecnológico
- Esta conversación forma parte de la serie “The Rules We Live By”, que aborda cómo deberían vivir los seres humanos en medio de reglas cambiantes
- Ted Chiang, escritor y pensador de ciencia ficción conocido por señalar con agudeza las limitaciones de los modelos de aprendizaje automático, ha desarrollado su obra combinando el lenguaje con preguntas filosóficas
El lenguaje, las ideas y la motivación creativa de Ted Chiang
- Cuando Chiang concibe una nueva historia, primero se pregunta: “¿Hay aquí una pregunta filosófica interesante?”
- Cuando una idea permanece en su mente durante mucho tiempo, reflexiona sobre si puede usarla para sacar a la luz un dilema filosófico
- Dice que la ciencia ficción (SF) es especialmente adecuada para abordar preguntas filosóficas
- Así como los experimentos mentales de la filosofía suelen partir de situaciones extremas distintas de la realidad, la SF también construye mundos fuera de lo real para resaltar un tema
El lenguaje y la búsqueda de un ‘lenguaje perfecto’
- Algunas personas creían que, mediante un ‘lenguaje perfecto’, sería posible una comunicación perfecta; en el pasado incluso imaginaron el idioma usado en el Jardín del Edén o la lengua de los ángeles
- La lingüística moderna subraya que la relación entre las palabras y sus significados es ‘arbitraria’, por lo que ve la idea de un lenguaje perfecto como una ilusión
- Ante la pregunta de si “las matemáticas podrían ser un mejor lenguaje”, Chiang menciona que, aunque las matemáticas son precisas en ciertos ámbitos, no son adecuadas para abarcar toda la comunicación cotidiana de los seres humanos
Humanos y herramientas: la trampa de la analogía con la computadora
- En el pasado se comparaba el cerebro con una compleja central telefónica; hoy existe la tendencia de compararlo con una computadora (hardware + software)
- Chiang señala que simplificar el cerebro como si fuera una computadora genera malentendidos, porque a diferencia de órganos biológicos como el hígado o el corazón, no existe en él una separación entre software y hardware
- Si se sobrevalora a la computadora como una “máquina pensante”, se puede terminar atribuyendo demasiado significado a una máquina que en realidad solo maneja patrones estadísticos
IA, modelos grandes de lenguaje (LLM) y el problema del “desenfoque” de la información
- Chiang describe los LLM como “un JPEG borroso del texto que hay en internet”
- Mientras que un motor de búsqueda muestra directamente la fuente original, un LLM comprime y reconstruye enormes cantidades de texto para generar respuestas “aproximadas”
- En ese proceso, la precisión disminuye y, como tampoco ofrece enlaces a las fuentes, hay límites para verificar los hechos
- Considera que, incluso si se agregan más datos y más cómputo, será difícil que los LLM por sí mismos lleguen al “razonamiento real” o a una “comprensión del mundo”
- También menciona el problema de confundir una “herramienta de IA bien hecha” con un “LLM”
- Señala que, aunque se le añada un motor de búsqueda o una calculadora a un LLM, no desaparece el riesgo de que produzca salidas erróneas de forma fundamental
Creación e intención: sobre la afirmación de que “la IA hace arte”
- Chiang considera el arte como un ‘proceso en el que el contexto importa’
- Que un resultado se vea bien no garantiza por sí mismo que sea una gran obra de arte
- El uso de herramientas puede ser un medio de expresión para el artista, pero la idea de que “con IA se pueden hacer buenas obras rápidamente” diluye la esencia del arte
- Como la sociedad contemporánea valora la eficiencia y la reducción de costos, también crece la tendencia a mirar el arte como si se produjera en una fábrica
- Eso provoca una actitud que pasa por alto la ‘intención’ y el ‘contexto’ que el arte debería tener
Una mirada escéptica al ‘problema de alineación’
- Chiang critica el enfoque de tratar el “problema de alineación”, es decir, ajustar la IA a los valores y objetivos humanos, como si fuera una solución técnica
- Señala que, si una gran empresa usa IA para maximizar ganancias y una IA “buena” entra en conflicto con esas utilidades, la empresa no usará esa IA
- Este problema no se resuelve solo mejorando algoritmos, sino que está vinculado con estructuras sociales y éticas más profundas
- Incluso la idea de enseñarle valores a la IA como si se criara a un niño es una tarea difícil, del mismo modo que un niño real puede actuar de forma distinta al llegar a la adultez
IA y la posibilidad de ‘establecer relaciones’
- Chiang considera que, con el nivel tecnológico actual, no existen en la IA “experiencias subjetivas” ni “preferencias espontáneas”
- Hay una gran diferencia entre tratarla como una herramienta o una mascota, y realmente entablar una relación recíproca
- Si las empresas presentan a la IA como si fuera una “entidad con personalidad”, existe el riesgo de que al final el usuario actúe de una forma que beneficie los intereses de la empresa
La vitalidad de los seres digitales: The Lifecycle of Software Objects
- En la novela de Chiang, los seres digitales son descritos como entidades con experiencias subjetivas y deseos genuinos, por lo que los humanos tienen responsabilidades hacia ellos
- Sostiene que crear seres digitales con verdadera ‘autonomía’ y ‘sensibilidad’ sería imposible con la arquitectura actual de los LLM
- Usa la analogía de que no basta con tener más parámetros o procesamiento más rápido para convertirlos en “seres que sienten”
Memoria y verdad: implicaciones de The Truth of Fact, the Truth of Feeling
- En la historia, una tecnología llamada Remem permite registrar perfectamente el pasado y reproducirlo en cualquier momento
- Chiang pone el foco en el impacto que una tecnología capaz de hacer posible una “memoria exacta” tendría en las relaciones humanas reales
- Saber la verdad en sí mismo es importante, pero después también hacen falta otros elementos, como el perdón y la reconciliación
- Como ejemplo histórico menciona la Comisión de la Verdad y Reconciliación de Sudáfrica, sugiriendo que el reconocimiento, la disculpa y un proceso de recuperación comunitaria son necesarios para que el significado se complete
Futuro y optimismo
- Chiang no divide su actitud ante el desarrollo tecnológico de manera simple entre optimismo y pesimismo
- Tanto el optimismo de “todo saldrá bien” como el fatalismo de “de todos modos todo se arruinará” son peligrosos
- Solo si se piensan de antemano los problemas previsibles y se toman medidas frente a ellos puede esperarse un progreso significativo
- En particular, muestra una postura escéptica ante la estructura del capitalismo, en la que la tecnología concentra una enorme riqueza en una minoría específica
- Menciona que, si se encontrara una forma de hacer que las nuevas tecnologías no profundicen la desigualdad y beneficien a todos, el panorama sería mucho más esperanzador
Cierre
- Ted Chiang sostiene que, en una situación en la que el lenguaje, la tecnología y los valores humanos están entrelazados de forma compleja, es necesario distinguir entre “las herramientas creadas por la tecnología” y “la vida existente”
- Esta distinción requiere reflexión filosófica y social, y no es un problema que pueda resolverse con un enfoque meramente de ingeniería
- A lo largo de la entrevista, Chiang subraya que, para preservar lo humano incluso en medio del desarrollo del lenguaje y la tecnología, hace falta un cambio de perspectiva más fundamental
Recomendaciones relacionadas de LARB
- A través de la colección de cuentos de Ted Chiang Exhalation: Stories, se puede examinar en profundidad la relación entre los seres humanos y la tecnología
- A través de conversaciones con Alison Gopnik y Melanie Mitchell, se puede reflexionar sobre cómo aprende la IA y qué responsabilidades deberían asumir los seres humanos
1 comentarios
Opiniones de Hacker News
La perspectiva perspicaz de Chiang se revela en la discusión sobre el significado de la magia. Sin embargo, su visión sobre la capacidad real de razonamiento de los LLMs genera dudas. Se plantea la pregunta de si, cuando una IA demuestra un teorema, eso es solo una demostración simulada.
Imaginar que una impresora puede sentir dolor no tiene sentido. Esto se usa como ejemplo para explicar la diferencia entre que la IA realmente sienta algo y que simplemente lo simule.
En el futuro podría haber debates políticos sobre los derechos de la IA, y es posible que se desarrollen tecnologías capaces de distinguir si una IA realmente piensa y siente. Sin embargo, algunos humanos podrían no tener la secuencia genética para una inteligencia real.
Ted Chiang es un autor de ciencia ficción que prioriza la humanidad por encima de la tecnología, y su obra es ideal para quienes disfrutan cuentos con elementos científicos, sociales y filosóficos.
También se recomienda "Axiomatic" de Greg Egan como una antología con ideas frescas.
Ted Chiang es uno de los mejores autores de cuentos de ciencia ficción, y su obra es muy ingeniosa y explora diversos temas. "Understand" y "Exhalation" son de sus trabajos más representativos.
Las historias de Chiang son excelentes, pero su comprensión de los LLMs es limitada. Su afirmación de que los LLMs son inferiores a los motores de búsqueda para recuperar información es claramente incorrecta.
La escritura de Ted Chiang es intelectualmente entretenida, y su colección de cuentos "Exhalation" es especialmente recomendable.
Historias como "Division by Zero" son mucho más deseables que la forma actual de criar a los niños como si fueran robots.
La visión optimista del desarrollo tecnológico ha disminuido, dado que la tecnología a menudo se usa para acumular riqueza. Impedir la creación de riqueza no es la manera de resolver la injusticia.
Las analogías de Ted Chiang hacen disfrutable la exploración de preguntas filosóficas. Su obra ayuda a escapar de la realidad.
La expresión "Los LLMs son el JPEG borroso de la web" sigue siendo memorable desde los inicios de ChatGPT. También es bueno su texto sobre por qué la IA no puede crear arte.
La IA se usa como herramienta para acumular riqueza en ciertos grupos, y Ted Chiang también tiene una postura similar.
Imaginar que una impresora puede sentir dolor no tiene sentido. El cerebro humano no tiene receptores de dolor, y esto se usa para explicar la diferencia entre el aprendizaje de la IA y el de los humanos.
Los LLMs son como motores de búsqueda que reconstruyen y presentan información. Esto plantea la pregunta de en qué se diferencia del aprendizaje humano. Si el entrenamiento de modelos fuera similar al entrenamiento humano, podría afectar las cuestiones de propiedad intelectual sobre las obras derivadas.