Libro blanco técnico sobre las contradicciones estructurales de la autocorrección autónoma de la IA y la arquitectura determinista
(drive.google.com)Encontré por ahí en internet un documento PDF interesante. Al leerlo, el contenido en lo personal me pareció bastante impactante, así que lo comparto.
Parece que critica el enfoque de múltiples agentes que todos están impulsando últimamente en la escena de la IA, y da la impresión de que dice que no se le debe dar autonomía a la IA, sino usarla directamente como una especie de "componente de renderizado".
El título del documento también aparece como provisional, y viendo que hacia el final habla de unos datos de validación práctica (PoC), me da la impresión de que quizá se filtró un libro blanco interno escrito por alguna empresa deeptech o laboratorio de investigación para fines de inversión.
Sinceramente, no entendí al 100% todo el contenido, pero me pareció bastante interesante el tono con el que confronta abiertamente la idea de que la dirección que están tomando ahora las grandes tecnológicas está equivocada, así que lo publico.
No es un artículo formal, así que lo subí a mi Google Drive y comparto el enlace.
5 comentarios
Para los ingenieros que trabajan con IA, es un supuesto básico tan evidente que nunca ha sido ningún secreto oculto que en los modelos de lenguaje grandes (LLM), la 'creatividad' y la 'alucinación (Hallucination)' son, al final, el resultado de la misma predicción probabilística del siguiente token (Next-token prediction); sin embargo, el white paper lo exagera como si estuviera revelando un gran secreto.
Resulta algo decepcionante la lógica con la que critica la 'autocorrección' de múltiples agentes limitándola simplemente a una 'iteración homogénea (Homogeneous Iteration)' dentro del mismo contexto.
Si uno integra agentes inteligentes dentro del IDE y realiza prompt engineering avanzado en un entorno real de desarrollo, esa naturaleza probabilística del modelo, más que un 'defecto fatal insuperable', es solo una 'condición base' que debe tratarse como una constante al diseñar el sistema. En la práctica, ya se parte de la premisa de que el modelo puede salirse del contexto, y la forma de trabajar consiste en asegurar control real proporcionando contextos claramente separados o usando contextos de distinta escala.
Sin embargo, este white paper envuelve ese hecho obvio que cualquiera conoce con términos académicos grandilocuentes como 'error categórico' y 'desvío probabilístico', generando ansiedad innecesaria. El objetivo parece claro. Solo degradando por completo la autonomía de los LLM pueden maximizar el valor de la 'red de control determinista diseñada directamente por humanos (sistema SERA)' que proponen.
En última instancia, este texto se parece menos a un white paper con equilibrio técnico y más a un sales pitch sesgado, dirigido a tomadores de decisiones en entornos enterprise que temen los riesgos de las alucinaciones, para convencerlos de que 'adopten nuestro pipeline determinista hardcodeado en lugar de agentes incontrolables'.
Es un texto sin mucha sustancia: solo enumera argumentos, pero no aporta evidencia concluyente ni experimentos directos que respalden sus afirmaciones.
Se siente como una extensión aburrida de frases de Yann LeCun como: "Incluso si llegamos a GPT-5000, el modelo no aprenderá que si pones un objeto sobre una mesa y empujas la mesa, el objeto también se moverá con ella", o "Los modelos autorregresivos inevitablemente colapsan por la acumulación de errores a medida que la secuencia se hace más larga"...
Dicho mal y pronto, hasta da para sospechar si no será una publicación hecha para viralizar la empresa mencionada al final del libro blanco.
Esto ya no es ni para bromear..
Parece más bien el discurso sobre lo neuro-simbólico que viene de antes. Hubo una época en la que se le daba más significado a lo "determinista" que ahora. Pero, a medida que el rendimiento mejoró hasta el punto de que los modelos probabilísticos pudieron aproximarse a un nivel determinista, gran parte del espacio para el debate desapareció. Al final, lo que siempre quisimos no era algo determinista, sino una incertidumbre "aceptable". En ese sentido, al menos desde la perspectiva de la "industria" y no de la academia, no creo que haya necesidad de darle demasiado significado al determinismo. Como mínimo, aunque la integración avance cuando la incertidumbre de los modelos generativos actuales se haya estancado, no será para nada demasiado tarde.
Está escrito de forma complicada, pero al final lo que quiere decir es algo que también se aplica a las personas.
La cuestión es si un texto escrito por un tonto A se vuelve mejor solo porque el mismo tonto A lo vuelva a revisar.
Claro, en una minoría de casos existe la posibilidad de que mejore, y también existe la probabilidad de acertar todas las preguntas al azar y sacar puntaje perfecto en el examen de acceso universitario, pero en la mayoría de los casos no hace más que regresar al nivel promedio de A tras N intentos.
(No puedo decir que esté completamente de acuerdo con el Chapter 2.)
Aun así, como dice el paper, estaría bien que entendieran que cualquier what-ever Scaling Law es una ley de crecimiento temporal, no algo eterno.
Si hubieran leído bien el paper de OpenAI, ni siquiera dirían algo así.
La verdad, más que 100 papers como ese, bastaría con demostrar que alguien que afirma que "sí se puede" realmente se convierte en esa persona.
El problema es que solo están haciendo alquimia del "sí se puede".