- Thomas Wolf, cofundador de HuggingFace, sostiene que la IA no traerá un avance abrupto en la ciencia, es decir, un "siglo XXI comprimido"
- El "siglo XXI comprimido" es un concepto tomado de "Machine of Loving Grace" de Dario Amodei, que plantea que la IA actuaría como una multitud de Einsteins en centros de datos y lograría todos los descubrimientos científicos del siglo XXI en solo 5 a 10 años
- Al principio esta idea le impresionó y pensó: "¡La IA va a cambiarlo todo en la ciencia en 5 años!", pero al releerlo, le pareció que en gran parte era pensamiento ilusorio (wishful thinking)
La IA no es un genio, sino un 'yes-man'
- Cree que lo que realmente obtendremos será "un país de yes-men en servidores" (si la tendencia actual continúa)
- Para explicar esta diferencia, comparte una historia personal
- Siempre fue un estudiante con calificaciones sobresalientes
- Creció en un pueblo pequeño, entró a una de las mejores escuelas de ingeniería de Francia y luego fue aceptado al doctorado en MIT
- Los estudios escolares siempre le resultaron fáciles
- Podía anticipar hacia dónde iba la explicación del profesor y qué preguntas haría quien preparaba el examen
- Pero cuando finalmente se convirtió en investigador (estudiante de doctorado), recibió un gran golpe de realidad
- Era un investigador mediocre, por debajo del promedio y muy lejos de las expectativas
- Sus colegas proponían muchas ideas interesantes, pero él siempre terminaba chocando contra una pared
- No podía inventar por sí mismo nada que no estuviera ya en los libros (y aun eso no pasaba de ser una variación inútil de teorías existentes)
- Un problema aún mayor era que le resultaba muy difícil dudar de lo aprendido y desafiar el estado actual de las cosas
- Él no era Einstein, solo era un estudiante bueno para la escuela
- Tal vez la razón por la que no era Einstein era precisamente porque le iba bien en la escuela
- A lo largo de la historia, muchos genios tuvieron dificultades académicas
- A Edison un maestro lo calificó de "torpe" (addled)
- Barbara McClintock fue criticada por tener "ideas raras", pero ganó el Nobel
- Einstein reprobó en su primer intento el examen de ingreso al Politécnico de Zúrich
- Y hay incontables casos más
- Un error común es pensar que Newton o Einstein eran simplemente 'alumnos sobresalientes escalados'
- Es decir, se supone erróneamente que si amplías linealmente al 10% superior del alumnado, aparece un genio
- Esta visión pasa por alto la capacidad más importante en la ciencia
- La capacidad de hacer las preguntas correctas y desafiar incluso lo que se ha aprendido es el verdadero núcleo de los grandes avances científicos
- Los grandes avances científicos reales surgen, por ejemplo, cuando Copérnico fue contra todo el conocimiento de su época y propuso que la Tierra gira alrededor del Sol
- En términos de machine learning, fue ir contra el sentido común existente "a pesar de todos los datos de entrenamiento"
Cómo crear a un Einstein
- Para crear un Einstein en un centro de datos, no basta con un sistema que conozca todas las respuestas
- Debe ser un sistema capaz de formular preguntas que a nadie más se le ocurrieron
- Debe poder preguntar: "¿Y si todo esto estuviera mal?", incluso cuando todos los libros de texto, los expertos y el sentido común digan lo contrario
- Pensemos en el cambio de paradigma radical de la relatividad especial
- Hace falta la valentía de establecer como primer postulado: "Supongamos que la velocidad de la luz es constante en todos los marcos de referencia"
- Eso iba contra el sentido común de la época (e incluso contra nuestra intuición actual)
- Desde los años 80 se sabía que CRISPR era un sistema inmunitario adaptativo de las bacterias
- Pero 25 años después de su descubrimiento, Jennifer Doudna y Emmanuelle Charpentier propusieron usarlo para la edición genética, y por ello recibieron el Nobel
- "Durante años supimos que XX hace YY, pero ¿y si lo hubiéramos entendido mal? ¿O si pudiéramos aplicar esto a ZZ, un concepto completamente distinto?"
- Ese tipo de revelación es justamente la esencia de pensar fuera del conocimiento existente (outside-of-knowledge thinking) y de un cambio de paradigma (paradigm shift)
- Ese es el mecanismo central del progreso científico
- Estos cambios de paradigma ocurren raramente (aproximadamente 1 o 2 veces al año)
- Una vez que se confirma su impacto, estos avances suelen terminar en un Nobel
- Aunque sean raros, coincide con Dario en algo
- La mayor parte del peso del progreso científico proviene de estos cambios de paradigma; casi todo lo demás es mayormente ruido
Por qué a la IA le cuesta lograr innovación científica
- El desempeño actual de la IA está centrado en aprender conocimiento ya existente y responder a partir de él
- La forma en que hoy evaluamos las mejoras de inteligencia en los modelos de IA es limitada
- Algunas pruebas recientes de IA son "Humanity's Last Exam" o "Frontier Math"
- Están compuestas por preguntas extremadamente difíciles, por lo general redactadas por investigadores de nivel doctorado
- Pero existe una respuesta correcta clara y cerrada
- Ese tipo de examen es exactamente el tipo de prueba en el que él era bueno durante su etapa escolar
- Evalúa la capacidad de encontrar la respuesta correcta a problemas cuya respuesta ya se conoce
- Pero un verdadero avance científico no surge de responder preguntas ya conocidas, sino de
- plantear preguntas nuevas y desafiantes, y poner en duda conceptos e ideas existentes
- Pensemos en The Hitchhiker's Guide to the Galaxy de Douglas Adams
- La respuesta es "42", pero nadie sabe cuál es la pregunta
- Esa es justamente la esencia de la investigación
- Aunque los LLM actuales recuerdan todo el conocimiento de la humanidad, no están creando conocimiento nuevo
- Principalmente están haciendo "manifold filling"
- Es decir, llenan los huecos entre conocimientos que los humanos ya conocen
- De algún modo, tejen el conocimiento como si fuera la trama de la realidad
- Hoy estamos construyendo estudiantes muy obedientes
- Y eso es perfecto para el objetivo principal actual de la IA: crear asistentes sobresalientes y helpers complacientes
Qué se necesita para que la IA logre verdadera innovación científica
- Pero, para que la IA logre innovación científica, necesita condiciones como estas
- Debe poder cuestionar el conocimiento que posee
- Debe poder proponer ideas nuevas que contradigan sus datos de entrenamiento pasados
- De lo contrario, la IA no traerá innovación científica
- Si queremos avances científicos, debemos replantear cómo medimos el desempeño de los modelos de IA
- Hoy medimos la cantidad de conocimiento y la capacidad de responder correctamente preguntas existentes
- En cambio, debemos pasar a formas que puedan poner a prueba el conocimiento y la capacidad de razonamiento
- Capacidades que debería tener un modelo de IA científica
- Desafiar los datos de entrenamiento: no aceptar sin más los datos aprendidos, sino poder cuestionarlos
- Intentar enfoques contrafácticos audaces: poder ensayar supuestos atrevidos que vayan contra el sentido común existente
- Derivar propuestas generalizadas a partir de pequeñas pistas: poder encontrar patrones nuevos a partir de señales sutiles y generalizarlos
- Hacer preguntas no intuitivas para abrir nuevas rutas de investigación: poder lanzar preguntas inéditas que abran nuevas direcciones de investigación
- No necesitamos un estudiante A+ que pueda responderlo todo
- Lo que queremos es un estudiante B que pueda ver y preguntar por lo que los demás pasaron por alto
PS: Hacia dónde deberían mejorar los benchmarks de IA
- Tal vez uno se pregunte qué tipo de benchmark hace falta
- Por ejemplo, podríamos imaginar una situación en la que el modelo sea puesto a prueba frente a un descubrimiento reciente y nuevo
- sin ningún conocimiento previo ni marco conceptual sobre ese descubrimiento
- y evaluar si puede empezar por las preguntas correctas y explorar el problema
- Es un problema muy difícil
- La mayoría de los modelos de IA actuales ya han aprendido casi todo el conocimiento que la humanidad conoce hoy
- Por eso, hacer que funcionen en una situación sin respuesta ni marco conceptual previo es un desafío
- Pero si queremos innovación científica, necesitamos benchmarks capaces de evaluar ese tipo de comportamiento
- En última instancia, esto sigue siendo un problema abierto, y le gustaría escuchar opiniones con buenas ideas al respecto
PPS:
- Mucha gente presenta "Move 37" (de AlphaGo) como prueba de que la IA ya alcanzó una inteligencia al nivel de Einstein
- Quiere explicar con más detalle por qué no está de acuerdo
- Move 37 es impresionante, pero al final sigue siendo la respuesta de un alumno sobresaliente dentro de reglas de Go ya definidas
- Solo resolvió el problema siguiendo las reglas existentes del juego
- Del mismo modo, es muy probable que los modelos de IA pronto
- produzcan demostraciones matemáticas más elegantes que las creadas por los mejores matemáticos
- pero eso no equivale a un verdadero cambio de paradigma
- Un avance de nivel Einstein en Go tendría que ser algo más fundamental
- más cercano a redefinir las reglas mismas del Go o
- a crear reglas de juego nuevas mucho más interesantes que el juego existente
- Una analogía más apropiada en matemáticas sería
- conectar distintas áreas de las matemáticas para abrir un nuevo campo de investigación
- un logro del nivel que normalmente lleva a ganar la Medalla Fields (Fields Medal)
- Un cambio de paradigma científico al nivel de Einstein sigue exigiendo un estándar extremadamente alto
5 comentarios
Si dicen que lograron crear una IA capaz de plantear preguntas que no se nos habían ocurrido, daría escalofríos que esa IA empezara a hacerse preguntas como por qué no se debe dañar a las personas.
IA y creatividad: la relación entre el cambio de paradigma y la inspiración
El texto de Thomas Wolf sostiene que será difícil que la IA impulse una innovación científica verdadera. La describe como un "yes-man" que recombina conocimiento existente, y dice que está lejos de la genialidad al estilo de Einstein, capaz de cambiar paradigmas.
Su punto de vista señala con precisión las limitaciones de la IA, pero al mismo tiempo nos lleva a pensar en las posibilidades de la colaboración entre la IA y los humanos. < Este texto es una respuesta que dio Claude cuando le pedí su opinión, pero lo convirtió en un artifact sin que yo se lo pidiera, y esta oración la agregó de repente mientras hablábamos de otra cosa, sin mencionarla para nada. Qué raro...
La inspiración y el papel de la IA
Pero, ¿qué es la inspiración? Incluso la creatividad humana, al final, surge de nuevas conexiones y combinaciones de ideas existentes. Hasta Einstein vio más lejos al subirse sobre los hombros de científicos anteriores como Newton, Maxwell y Lorentz.
Lo que aporta la IA:
La relación simbiótica entre la IA y los humanos
Thomas Wolf dice que la IA no puede provocar por sí sola un cambio de paradigma, pero ¿qué pasa con la colaboración entre la IA y los humanos? En el proceso en el que los humanos plantean preguntas y la IA explora distintas posibilidades, pueden nacer nuevas ideas.
Los humanos tienen la capacidad de hacer preguntas, la intuición y la capacidad de juzgar el valor de los resultados. La IA propone puntos de conexión a partir de enormes volúmenes de datos. La combinación de estas dos inteligencias quizá pueda llevarnos a un lugar al que ninguna de las dos podría llegar por separado.
Conclusión: la posibilidad de una nueva creatividad
Puede que la IA no logre crear por sí sola una "versión comprimida del siglo XXI". Pero sí puede inspirar a los humanos, abrir nuevos caminos de pensamiento y funcionar como compañera de la creatividad humana.
Es muy probable que la verdadera innovación aparezca en un proceso de creación conjunta en el que humanos e IA desplieguen sus fortalezas respectivas. Eso irá más allá del simple papel de un "yes-man" y podría convertirse en un viaje para explorar, junto con los humanos, un nuevo paradigma.
https://es.news.hada.io/topic?id=19168
Es una investigación que parece algo en lo que la IA jamás habría pensado.
Coincido con la idea principal del artículo.
"No necesitamos a un estudiante de A+ que pueda responder todas las preguntas
Lo que queremos es un estudiante de B que pueda ver y hacer preguntas sobre lo que otros pasaron por alto"
Al ver eso, de inmediato pensé que yo soy ese estudiante B, pero las grandes empresas solo se fijan en los estudiantes A+ al contratar.
Opiniones en Hacker News
Hubo suerte cuando se le indicó a la IA: "no inventes nada y, si no hay respuesta, di que no lo sabes"
Recomiendan leer "Against Method" de Feyerabend
Se proporciona un enlace a la versión de BlueSky
Es una publicación interesante sobre "hacer las preguntas correctas"
Opinión sobre la posibilidad de compresión del siglo XXI, donde un estudiante B creativo y un estudiante A de IA trabajan juntos
No se puede distinguir entre una respuesta verdaderamente novedosa de un LLM y una alucinación
Es una buena publicación que debería estar en un lugar más inteligente que el Twitter/X actual
Han visto algoritmos que diseñan circuitos que los ingenieros humanos no diseñarían
El autor parece asumir que la parte difícil es formular conjeturas
No han encontrado un modelo que se adhiera estrictamente a la factualidad
Solo quieren hechos directos, no intuición