La creatividad y el descubrimiento en la IA según Rich Sutton

 (twitter.com/RichardSSutton)
4 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • La IA generativa entrenada con aprendizaje supervisado es un modelo de imitación que actúa de forma similar a los ejemplos, y aunque puede ser útil, tiene límites para lograr nuevos descubrimientos en ciencia y matemáticas
  • Al responder preguntas de internet o resumir documentos, la novedad se convierte más bien en alucinación, y las buenas respuestas provienen de la calidad del material fuente
  • Incluso en casos donde se necesita novedad, como la generación de novelas o imágenes, es difícil saber qué tan cerca está la salida de los datos de entrenamiento, y la aleatoriedad puede producir novedad, pero sin evaluación no se convierte en un buen descubrimiento
  • Sistemas como AlphaGo, AlphaZero, GT-Sophy, AlphaFold, AlphaProof, Claude-Code y RL-Lyft encuentran resultados nuevos y valiosos mediante evaluación y conservación selectiva
  • Si se quiere un científico de IA completo, hay que compartir objetivos explícitos para que la IA cree, evalúe y descubra, y se necesita la automatización de la creatividad y el descubrimiento

Los límites y la utilidad de la IA generativa

  • La IA generativa es un modelo de imitación que recibe grandes cantidades de ejemplos para producir texto como una persona, imágenes como un artista o la naturaleza, o video como el de internet
  • La IA generativa puede ser muy útil, pero en gran medida se le aplica aquella vieja broma de que “las partes buenas no son nuevas y las partes nuevas no son buenas”
  • Cuando se busca una respuesta en internet o se resume un documento, no hace falta que la IA sea novedosa, y la calidad de la respuesta proviene del material fuente, como el autor del documento o las publicaciones en internet
  • Si la respuesta de la IA agrega algo más allá del material fuente, eso es una alucinación, y en la mayoría de los casos el usuario no quiere que la IA invente cosas

Novedad, aleatoriedad y el problema de la evaluación

  • Cuando el usuario quiere ficción o entretenimiento, y no hechos o realidad, la novedad sí se vuelve necesaria de manera excepcional
  • Se le puede pedir a la IA generativa un cuento para dormir para un niño o una imagen que sea distinta de las imágenes existentes en internet, pero basada en ellas
  • Como internet es demasiado grande y hay demasiadas fuentes posibles, es difícil saber en la práctica qué tan creativas son realmente las historias, poemas o imágenes de la IA
  • Parte del procesamiento de la IA generativa es probabilístico, por lo que cada decisión puede ir en varias direcciones y generar una trayectoria distinta cada vez
  • Si la trayectoria se basa en la aleatoriedad, será nueva; si se basa en los datos de entrenamiento, puede ser buena por la calidad de esos datos, pero no puede ser al mismo tiempo nueva y buena

El descubrimiento que necesitan la ciencia y las matemáticas

  • Aunque la IA generativa no pueda ser a la vez buena y nueva, eso no es un problema fatal en la mayoría de los usos, y si es rápida, barata, pequeña, personalizable y replicable, puede convertirse en una tecnología transformadora
  • En ciencia y matemáticas no basta con una IA de simple imitación; se necesita creatividad real y descubrimiento
  • La jugada 37 de AlphaGo, el estilo original de ajedrez de AlphaZero y el rendimiento de GT-Sophy en carreras de simulación son ejemplos de haber encontrado algo nuevo y bueno
  • AlphaFold, AlphaProof y Claude-Code se presentan como casos que han producido avances reales en ciencia, matemáticas y programación
  • RL-Lyft es un sistema que optimiza la manera de asignar vehículos a pasajeros en el negocio de transporte bajo demanda
  • Algunos modelos de lenguaje han sido reforzados de formas que van más allá de la IA generativa basada en aprendizaje supervisado

Las tres etapas del descubrimiento

  • El descubrimiento es el proceso de probar varias cosas, ver qué funciona y conservar lo que mejor funciona
  • La evolución por selección natural, el método científico, la vida cotidiana y el aprendizaje avanzan todos probando cosas y recordando lo que funcionó
  • En psicología, esto se llama aprendizaje instrumental o condicionamiento operante, y en aprendizaje automático se llama aprendizaje por refuerzo
  • Incluso en la planificación y la búsqueda combinatoria funciona la idea de descubrimiento de “generar y probar”
  • La clave del descubrimiento es combinar tres etapas: variación, evaluación y conservación selectiva
  • Solo con aprendizaje supervisado no hay forma de evaluar las creaciones en tiempo de ejecución; sin evaluación no hay conservación selectiva y, por tanto, tampoco hay descubrimiento
  • La novedad puede aparecer un momento, pero si su valor no se reconoce, desaparece y se pierde

Evaluación, objetivos y autonomía

  • Si una persona genera varias imágenes con IA generativa y escoge una que le gusta, el sistema humano+IA completa el descubrimiento
  • Cuando hay un objetivo claro, la evaluación también es posible: ciertas jugadas llevan al jaque mate, ciertos pasos llevan a una demostración y ciertas acciones llevan a una alta recompensa
  • Algunos genotipos producen más copias, y algunas teorías explican mejor los datos
  • La variación no tiene por qué ser completamente aleatoria, y un buen científico no elige al azar las teorías que va a poner a prueba
  • Si está completamente determinado dónde está la respuesta, ya no se trata de descubrimiento; el descubrimiento requiere incertidumbre
  • Las actualizaciones de pesos por retropropagación son deterministas, pero los pesos se inicializan con pequeños valores aleatorios, así que sí existe variación
  • La inicialización aleatoria es una forma necesaria de variación que debe realizarse correctamente para obtener buen rendimiento
  • En la retropropagación, la variación ocurre solo una vez al inicio de la red, por lo que su efecto es temporal y más adelante la red puede perder capacidad de aprendizaje
  • “continual backpropagation” vuelve a inicializar de vez en cuando las neuronas menos usadas con pequeños pesos aleatorios para que la variación continúe y se mantenga la plasticidad
  • El descubrimiento requiere evaluación proveniente de personas o de objetivos explícitos, y la autonomía completa es posible cuando los objetivos explícitos proporcionan la evaluación
  • Si se quiere toda la capacidad de un científico de IA, hay que compartir los objetivos para que la IA cree, evalúe y descubra, y participe en el logro de esos objetivos

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Comentarios en Hacker News

  • Las aplicaciones más exitosas, como la programación, no surgen del modelado generativo/LLM puro, sino de cerrar el ciclo con un arnés de tipo agente
    El bucle de generar-probar-mejora selectiva es el patrón central del trabajo científico, y los LLM + aprendizaje por refuerzo con recompensa verificable + retroalimentación de ejecución de compilador/terminal imitan bastante bien este proceso
    Esto se parece más a un bucle de retroalimentación de Fisher/Box implementado sobre sistemas computacionales modernos (https://www-sop.inria.fr/members/Ian.Jermyn/philosophy/writi...), y el LLM es solo un componente
    Ojalá Sutton hubiera hablado del panorama completo actual; es una pena que solo tratara la parte de LLM/retropropagación. De verdad me intriga si este tipo de bucles puede automatizar al menos parcialmente el descubrimiento
    El descubrimiento incluye más elementos, y sigue sin estar claro de dónde vienen los modelos/hipótesis iniciales o cómo se eligen las actualizaciones. Vi que recientemente Hanson en Patterns of Discovery trata esa dirección, aunque todavía no lo he leído y me pregunto si hay pistas mecanicistas

    • El origen de los modelos/hipótesis iniciales y cómo se seleccionan las actualizaciones también es un problema en aprendizaje por refuerzo, así que normalmente primero se enseña al modelo a imitar algunas trayectorias con aprendizaje supervisado y luego se lo refina con aprendizaje por refuerzo
      Solo con aprendizaje por refuerzo hay un gran problema: es difícil llegar a la recompensa, así que cuesta aprender tareas usando refuerzo puro. Los humanos también resuelven problemas de descubrimiento combinando la señal supervisora de lo que aprenden en libros con la exploración al resolver problemas, y una persona sin ninguna educación inicial en matemáticas difícilmente logrará resultados extraordinarios por más inteligente que sea. El bootstrap fue una exploración cuyo costo ya se había pagado en el pasado
    • Estoy completamente de acuerdo en la importancia del arnés
      Aun así, veo un problema similar al que tenían los algoritmos evolutivos. Se pueden generar soluciones candidatas hasta que se acabe el dinero, pero igual hay que evaluarlas. Se necesita una función de aptitud, y eso implica conocer al menos la forma aproximada de la solución. Si alguien conoce trabajo sobre funciones de aptitud más abiertas, me gustaría leerlo
    • Los investigadores críticos de los LLM suelen cuestionar principalmente las propiedades matemáticas/estructurales fundamentales de los LLM, pero parecen pasar por alto la ingeniería que se está haciendo alrededor del modelo para volverlo útil
      Puede que, por esas limitaciones matemáticas, los LLM no sean el camino hacia una verdadera AGI, pero a estas alturas honestamente eso no parece tan importante
    • El punto más importante es que el bucle de refuerzo se usa durante el aprendizaje. No estoy de acuerdo con la hipótesis original de Sutton, pero después del aprendizaje por refuerzo esa hipótesis se debilita

  • Me gusta mucho este encuadre de que “las cosas nuevas generadas deben ser evaluadas para que exista creatividad. Sin evaluación ni preservación de los mejores resultados, no se crea nada. La novedad aparece brevemente, pero si su valor no es reconocido, desaparece y se pierde”
    Mucha gente en los comentarios de Twitter, y probablemente algunos aquí también, parece no haber leído más allá de la introducción. Él no está diciendo que los sistemas de IA no puedan tener creatividad ni hacer descubrimientos, sino que la IA generativa sin arnés no puede hacerlo
    Eso significa que se necesita otro sistema que reconozca y recuerde el valor de las ideas nuevas. Incluso presenta ejemplos donde esta etapa de reconocimiento de valor está automatizada, logrando creatividad y descubrimiento en sistemas totalmente automáticos por definición propia

    • En general estoy de acuerdo, pero hacer esta afirmación sobre una definición estrecha de IA generativa que no coincide con cómo se usa en la práctica termina siendo un hombre de paja

  • Si no me perdí de algo, este argumento parece aplicarse solo a la era previa al preentrenamiento original (por ejemplo, GPT 1~4). ¿El paradigma de postentrenamiento y aprendizaje por refuerzo no está haciendo claramente variación, evaluación y preservación selectiva?

    • El texto original parece pasar por alto las etapas de postentrenamiento como el aprendizaje por refuerzo con recompensa verificable (RLVR). Claro, no pretendo afirmar que Rich Sutton no sepa de eso. RLVR sí tiene una forma de evaluación muy estrecha
      Me pregunto si esto será una señal de que Keen Tech se inclina hacia el enfoque de Ineffable Intelligence de David Silver
    • RLVR todavía no logra expandirse más allá de la distribución base; solo encuentra la moda dentro de ella
      Es decir, hay evaluación y preservación, pero no mutación ni “planificación”
      Eso no significa que no se puedan usar LLM. AlphaEvolve hace exactamente eso. Solo que utiliza un planificador evolutivo simple externo. El punto más amplio que él plantea es que nuestro planificador todavía es “tonto”, y que deberíamos invertir más en esto
      Cuando uno guía iterativamente a un LLM en Claude Code, el usuario termina actuando como planificador externo, y eso también funciona bien

  • La formulación del problema al comparar a AlphaGo con este tipo de modelos de IA generativa parece rara.
    AlphaGo fue evaluado bajo criterios estrictos dados desde afuera; no los creó por sí mismo.
    Los modelos de IA generativa también pueden tener éxito en muchas áreas si reciben evaluaciones estrictas externas. Es especialmente sorprendente que tengan éxito en diversos campos, desde tareas simples de programación hasta matemáticas de frontera (como presentar contraejemplos a conjeturas recientes) e incluso escribir código de kernel más optimizado.
    En campos donde la solución es extremadamente compleja pero la evaluación es relativamente menos compleja, también hay mucho aprendizaje por refuerzo, y de hecho ocurren tanto el descubrimiento como la selección de trayectorias “parecidas a la evolución”.
    Por eso resulta extraño compararlo con AlphaGo. AlphaGo recibió, en un dominio estrecho, una evaluación estricta e independiente de sí mismo dada por una fuente externa: los humanos. La IA generativa también puede mostrar resultados bastante sorprendentes si se le da ese tipo de evaluación.
    Más extraño aún es que, en muchos casos, la innovación y el progreso no requieren ideas genuinamente nuevas, sino ejecutar en capas, con alta calidad, distintos métodos, tácticas e ideas. En muchos dominios, nuestro conocimiento colectivo es enormemente disperso y complejo, así que poder recombinar selectivamente herramientas, modelos e ideas con alta calidad es muy poderoso.
    Con un horizonte de búsqueda finito (tiempo, recursos), la diferencia entre que las “buenas opciones” sean el 1% o el 3% es un mundo completamente distinto.
    Lo más importante es que lo anterior no trata sobre la inteligencia, sino sobre una agricultura seca de soluciones para problemas importantes y valiosos que tenemos. La mayor parte del debate sobre AGI e inteligencia parece pasar por alto este hecho simple. Es como la analogía común de que decir que un avión no vuela como un pájaro o que un submarino no nada no tiene relación con su utilidad.
    Por último, ¿de verdad creen que estos sistemas no pueden hacerlo mejor, en promedio, que la gente común en los problemas que enfrenta a lo largo de su vida? En una realidad donde se otorgan títulos con 60–70% en exámenes de problemas típicos en ciencia o medicina, ¿cómo deberíamos definir la inteligencia humana?

    • Quiero señalar brevemente que los aviones tienen alas con perfil aerodinámico como los pájaros, y los submarinos tienen tanques de aire como la vejiga natatoria de los peces.
      También hay aves, como el albatros, que vuelan casi sin batir las alas.

  • Considero que gran parte del deep learning es generalización composicional. Los modelos aprenden piezas reutilizables —abstracciones, estilos, procedimientos, restricciones, etc.— y las recombinan de maneras que nunca aparecieron como conjunto en los datos de entrenamiento.
    Por lo tanto, aunque los materiales vengan de datos pasados, la composición final puede ser nueva en un sentido significativo.

  • No logro seguir bien su punto. a) ¿Quiere decir que se necesita un nuevo algoritmo base que integre directamente los objetivos, o sea los “gustos”, en la etapa de entrenamiento, o b) que el modelo entrenado debe orientarse hacia un objetivo al iterar?
    Si es a), él no propuso ese algoritmo, y tampoco veo cómo cuantificar objetivos abstractos en un nivel tan bajo. ¿Propuso de verdad un algoritmo así y yo leí mal? Si es b), eso ya existe. Así son AlphaEvolve y varios de los casos que menciona; y, dicho un poco maliciosamente, basta con poner /goal y dejarlo correr.
    Además, me parece categóricamente falso decir que los LLM no pueden hacer cosas buenas y nuevas. Si pueden hacerlo, uno podría decir “eso no es nuevo, solo es derivativo”, pero por ejemplo, si hice un lenguaje de programación con un LLM y funciona bien para mi propósito, ¿eso no sería algo nuevo y bueno? ¿Significa que, salvo FORTRAN, ningún otro lenguaje fue nuevo?
    Todo es derivativo, y se puede meter a un LLM dentro del bucle que evalúa las cosas que intentó el propio LLM. Él no es una persona tan torpe como para equivocarse así, así que siento que estoy malentendiendo algo.

    • No, parece que está diciendo que ya tenemos algo así y que deberíamos usarlo más.
      AlphaGo evalúa jugadas posibles y usa descubrimiento al iterar.
      Claude Code también usa descubrimiento cuando genera scripts y luego evalúa si funcionan.
      Lo que dice es que, también en ciencia e ingeniería, debemos hacer que los sistemas de IA se evalúen e iteren por sí mismos como hacemos con el código.
      Básicamente, es ingeniería de harnesses para la ingeniería.
    • El LLM tiene el mapa, pero no puede distinguir entre tierra fértil y tierra estéril. Por ejemplo, ¿cómo generaría el nuevo modelo de Anthropic un “fármaco” prometedor? Porque, además del conocimiento incorporado en el modelo, absorbió el paradigma de inferencia de AlphaFold. Claude por sí solo no podría diseñar un método de análisis de proteínas.
    • En una de sus presentaciones de YouTube, creo que decía que estamos entrando en la era de los “diseñadores” del universo.
      https://youtu.be/ThFq87Rp21s?si=SrKj72_X8bjnB6ED
      Alrededor del minuto 35.

  • Cuando se usan palabras como «creativo» para hablar de la IA, hay que ser muy específico.
    ¿La IA puede crear arte? Puede hacer algo sensorialmente placentero. Pero el arte, al final, consiste en transmitir emociones y sentimientos humanos. Incluso entre humanos, la comprensión del arte no es universal. «Emociones y sentimientos»; por lo tanto, el arte puede estar profundamente ligado a las creencias y experiencias compartidas de un grupo específico.
    ¿Puede ser creativa en campos no subjetivos como las matemáticas o la ciencia? Einstein derivó la teoría de la relatividad general mediante experimentos mentales creativos. Si una IA, al probar varios marcos matemáticos para resolver un problema revelado por experimentos, presentara las ecuaciones de campo de la relatividad general, ¿eso sería creativo? Quizá sí, pero definitivamente no de la misma manera.

    • Se puede hacer arte con cualquier cosa, desde palos y barro hasta vidrio y aire. Por supuesto, también se puede hacer arte con IA.
      Si la pregunta es si una máquina puede hacer arte, al final alguien tuvo que encender esa máquina y diseñarla para que hiciera arte, así que, viéndolo estrictamente, también se puede decir que esa persona o esas personas son quienes hacen el arte.
      Históricamente, la respuesta a la pregunta «¿x es arte?» siempre ha terminado siendo «sí». No sé por qué la gente sigue cayendo en la misma trampa.
    • Su definición de creatividad es de ciclo cerrado. Es decir, el concepto generado debe ser nuevo no para un observador externo, sino para el propio sistema.
    • Hay un pequeño error en la frase «el arte al final consiste en transmitir emociones y sentimientos humanos». El arte se parece más a provocar emociones en el receptor —quien mira, escucha, etc.— que a transmitir las emociones del creador.
      El artículo de Wikipedia sobre arte comienza así:
      «Art is a diverse range of cultural activity centered around works utilizing creative or imaginative talents, which are expected to evoke a worthwhile experience»
      https://en.wikipedia.org/wiki/Art
      Por lo tanto, la IA también puede hacer arte. Porque basta con que provoque una respuesta emocional en quien lo recibe.
    • Los modelos actuales están entrenados con pastiches de imágenes y remixes de estilo. Pero no hay razón por la que no se pueda añadir una capa de Artistic Director que aprenda significantes emocionales y culturales y dirija el pastiche y el remix.
      El problema real es que la capacidad del modelo para seguir prompts es muy limitada. El nivel de detalle que se puede especificar al diseñar una escena es demasiado tosco. Por eso puede salir ese efecto de “slop” con muchos detalles de pastiche de relleno, pero no puede crear obras como esta, en las que cada objeto secundario está colocado intencionalmente para reforzar el mensaje.
      https://en.wikipedia.org/wiki/The_Awakening_Conscience
      Básicamente, es la versión experta del problema de «dibújame un pelícano en bicicleta».
      En algunas situaciones se necesita ese nivel de control creativo, y los generadores de imágenes actuales ni se le acercan.
      Y sin ese control, no se puede alcanzar el nivel de metacreatividad necesario para crear nuevas estéticas que se vuelvan hitos culturales, como han hecho y siguen haciendo artistas famosos.
    • Hoy en día la gente da downvote si el arte la incomoda.
      Solo quiere dopamina. No quiere pensar porque pensar duele.

  • No creo que el aprendizaje automático no pueda ser creativo ni hacer descubrimientos. Creo que la creatividad y el descubrimiento, al final, consisten en pensar al mismo tiempo conceptos correctos que en apariencia están separados, mientras que el pensamiento algorítmico consiste en tratar conceptos que están más obviamente relacionados.
    Incluso sin ser un LLM, algún modelo puede generar ideas aleatorias, clasificarlas y luego producir el mejor resultado.
    Solo que creo que los humanos son mejores para ese tipo de cosas, y que el aprendizaje automático es mejor para el pensamiento algorítmico. Aquí «mejor» significa más eficiente y algo que además disfrutamos más hacer, y también que podemos evaluar con más precisión lo que nos atrae subjetivamente a los humanos, incluidos nosotros mismos: el gusto.
    Creo que el aprendizaje automático exige más generalización que la programación, pero aun así debería optimizarse principalmente para tareas lógicas. Cosas como desarrollo de software, traducción y herramientas para el arte y el descubrimiento.

  • Está bien. Los LLM ya son útiles tal como son ahora. Incluso si nunca llegan a producir la próxima generación de matemáticas o física.
    Incluso entre los humanos, los cerebros que dieron saltos escalonados en el pensamiento son tan raros que los recordamos por su nombre.

    • Puede que se esté pasando por alto que esos humanos excepcionales estaban apoyados sobre innumerables fracasos o descubrimientos algo útiles hechos por humanos más «comunes», olvidados por la historia.

  • Enlace alternativo: <https://xcancel.com/RichardSSutton/status/206121608774494665...>
    Por ahora a mí me da 502 «Bad Gateway», pero parece que en algún momento volverá a funcionar.