54 puntos por GN⁺ 26 일 전 | 4 comentarios | Compartir por WhatsApp
  • Como cambios clave de la era de la IA, la mejora autónoma de componentes, la ingeniería basada en intención, el giro hacia la transparencia, el reconocimiento del scaffolding y la difusión de la experiencia se están reforzando mutuamente y reconfigurando de raíz la forma en que operan todas las organizaciones
  • Inspirado por el proyecto Autoresearch de Karpathy, un ciclo que define un estado objetivo y evalúa y mejora automáticamente puede expandirse más allá de la investigación en ML hacia seguridad, consultoría, contratación y cualquier otro ámbito
  • La nueva habilidad central de ingeniería ya no es programar ni hacer prompting, sino expresar con claridad el resultado deseado mediante criterios verificables
  • A medida que la IA visibiliza los costos reales, la calidad y los procesos dentro de las organizaciones, queda al descubierto que entre el 75% y el 99% del trabajo del conocimiento era scaffolding (trabajo accesorio)
  • Cuando el conocimiento que existía solo en la cabeza de expertos se extrae en forma de skills, SOP y archivos de contexto, se produce un efecto de trinquete irreversible en el que todas las instancias de IA aprenden al mismo tiempo

1. Optimización autónoma de componentes (Autonomous Component Optimization)

  • El proyecto Autoresearch de Karpathy es un caso representativo que materializa este concepto: al introducir ideas en el archivo PROGRAM.md, el sistema automatiza tareas engorrosas como el ajuste de parámetros del modelo y la configuración del entorno, y obtiene mejores resultados que antes mediante optimización de ML
  • Autoresearch se está expandiendo más allá de un solo proyecto como un paradigma de "Autoresearch for X", y personas de distintos campos están explorando cómo aplicar el mismo enfoque a sus propios proyectos
  • Al combinarse con los conceptos de verificabilidad generalizada (general verifiability) o hill-climbing generalizado, se crea una estructura que descompone cualquier resultado según criterios de estado ideal y lo mejora automáticamente
  • El concepto de Evals for everything se conecta con esto, y la clave es que toda actividad no solo se vuelve medible, sino también mejorable
    • La base que hace esto posible es la transparencia (transparency)

Ciclo universal de mejora (Universal Improvement Cycle)

  • Un ciclo que se convertirá en el modelo operativo estándar de toda empresa, organización, gobierno e individuo:
    • Estructurar el objetivo en misión, metas, flujos de trabajo y SOP
    • Los agentes ejecutan los flujos de trabajo
    • Registrar de forma amplia las salidas, conversaciones, resultados y calidad
    • Los errores, fallas y problemas de calidad fluyen hacia el punto de recolección de problemas de esa organización
    • Un algoritmo de auto-mejora toma los datos del punto de recolección y realiza resolución de problemas, experimentación, verificación y optimización al estilo autoresearch
    • Tras confirmar los cambios, se actualiza el SOP y se repite el ciclo
  • El núcleo de este ciclo: mapeo de objetivos → ejecución por agentes → logging completo → recolección de fallas → mejora autónoma → actualización del SOP → repetición, con aceleración en cada iteración

2. Giro hacia la ingeniería basada en intención (Intent-Based Engineering)

  • El verdadero poder de la IA es moverse del estado actual al estado ideal, pero antes de eso hace falta la capacidad de articular con claridad lo que realmente se quiere
  • El problema de la brecha de articulación (articulation gap) es grave: si se le pregunta a un CEO por el programa de seguridad ideal, apenas gesticula; si se le pregunta a un líder de equipo qué significa "terminado", aparece un párrafo que tres personas interpretan de tres maneras distintas
    • Esta brecha no existe solo entre expertos e IA, sino también entre los líderes y sus propias organizaciones
  • Como metodología concreta, toda solicitud se descompone hacia atrás en criterios de estado ideal discretos y comprobables de 8 a 12 palabras, y se les aplica una evaluación binaria (pass/fail)
    • Una vez que se cuenta con estos criterios, se vuelve posible hacer hill-climbing, evaluación y mejora automática
  • La nueva habilidad central de ingeniería no es programar ni hacer prompting, sino expresar con claridad la intención a un nivel verificable

3. Del carácter opaco a la transparencia (Opacity to Transparency)

  • Hasta ahora, las empresas no han entendido bien qué ocurre realmente dentro de ellas: el costo real de los procesos, el tiempo requerido, la calidad de los entregables, y la distinción entre quienes hacen el trabajo real y quienes hacen el trabajo accesorio
  • La mayoría de las organizaciones han operado con "vibras y hojas de cálculo", pero la IA está transformando el trabajo real, los costos y la calidad en algo medible de una forma antes imposible
  • Cuando se obtiene transparencia, la mejora se vuelve posible, y esto puede aplicarse a todo tipo de organización, desde empresas y gobiernos hasta equipos pequeños
  • Lo primero que la transparencia deja en evidencia es que la mayor parte del trabajo no era trabajo real

4. La mayor parte del trabajo es scaffolding (Most Work is Scaffolding)

  • Lo que la IA ha dejado al descubierto es que entre el 75% y el 99% del trabajo del conocimiento corresponde a sobrecarga de scaffolding
    • En pruebas de seguridad, desarrollo, consultoría y otros ámbitos, la mayor parte del tiempo se consume en mantenimiento de herramientas, flujos de trabajo, plantillas y gestión de bases de conocimiento
    • El pensamiento realmente difícil (hard thinking) lo realizan muy pocas personas durante muy poco tiempo
  • La IA maneja la parte de scaffolding extraordinariamente bien: si el contexto, la metodología y las herramientas se empaquetan como skills de agente, la IA puede ejecutar la mayor parte del trabajo a un nivel igual o superior al de muchos expertos
  • No era que el trabajo en sí fuera difícil, sino que era difícil mantener el scaffolding

5. Difusión de la experiencia (Expertise Diffusion)

  • Brecha de articulación (articulation gap): existe una gran distancia entre lo que sabe un experto y lo que está documentado
    • Ejemplo: si un empleado de 62 años llamado "Cliff", que lo sabe todo pero no documentó nada, se jubila, ese conocimiento desaparece
  • Hoy la experiencia se está almacenando de forma distribuida en skills, SOP, archivos de contexto y proyectos open source, y una vez que ese conocimiento se extrae, ya no puede retirarse
    • Se compara con "orinar en una piscina": las skills publicadas, los procesos documentados y los debriefings con expertos entran de manera permanente en la base de conocimiento colectiva
  • Efecto de trinquete irreversible (one-way ratchet): a los humanos les toma entre 20 y 30 años desarrollar una experiencia profunda en un campo, luego olvidan y se jubilan; la IA absorbe de inmediato la experiencia capturada, nunca la olvida y puede replicarse infinitamente
  • La brecha entre la velocidad con la que los humanos acumulan experiencia y la velocidad con la que la IA la acumula se amplía cada día

Implicaciones (Implications)

La mejora autónoma cambia la velocidad en todos los ámbitos

  • Cuando se puede definir el estado ideal, medirlo e iterar automáticamente, meses de ajuste manual pueden completarse de la noche a la mañana
  • Esto puede aplicarse no solo a la investigación en ML, sino también a programas de seguridad, entregables de consultoría, pipelines de contenido, procesos de contratación y todo aquello que tenga un estado ideal definible
  • Todas las organizaciones terminarán operando el mismo ciclo (mapeo de objetivos → ejecución por agentes → logging → recolección de fallas → mejora autónoma → actualización del SOP), y las que lo adopten primero crearán una ventaja imposible de alcanzar gracias al efecto compuesto

La intención se vuelve el cuello de botella

  • La nueva habilidad escasa no es programar ni hacer prompting, sino poder decir con claridad lo que se quiere
  • La calidad de las ideas siempre será lo más importante, y lo segundo más importante será la capacidad de expresar, definir y alinear a toda la organización en torno a esas ideas
  • La mayoría de los líderes y empresas aún no pueden hacerlo, y las organizaciones que lo resuelvan primero podrán concentrar todas las herramientas de optimización en objetivos reales

Todo se vuelve transparente

  • Se pasa de vibras opacas a componentes transparentes y optimizables, dejando a estafadores y gatekeepers con cada vez menos dónde esconderse
  • Incluso en la competencia entre productos y servicios, los agentes dejarán de guiarse por copy de marketing o recomendaciones de clientes y exigirán datos reales y verificables de desempeño; quien no los tenga quedará fuera de competencia

Comoditización del scaffolding (Commoditization)

  • Queda claro que lo que se consideraba experiencia especializada en ciertos campos era, en gran medida, scaffolding que la mayoría de la gente no entendía
    • Ejemplo: la configuración y el mantenimiento de ciertos entornos de desarrollo, así como el trabajo accesorio en profesiones bien pagadas como derecho o consultoría

El conocimiento experto se vuelve infraestructura pública

  • El conocimiento que solo poseían expertos pronto pasará a estar en manos de todos, especialmente de la IA
  • La ventaja de 50 años de experiencia en un campo específico no durará mucho tiempo; ese conocimiento será extraído por la propia persona o por colegas de todo el mundo

Resumen clave y conclusión

  • Las 5 ideas interactúan entre sí y se amplifican mutuamente
  • No solo se pueden mejorar diversos componentes, sino que también mejora la propia velocidad de mejora
  • Todas las empresas, gobiernos y organizaciones convergerán hacia el mismo ciclo (definición de objetivos → ejecución por agentes → logging completo → recolección de fallas → mejora del propio sistema), y las organizaciones que lleguen primero abrirán una brecha que el resto no podrá cerrar debido al efecto compuesto

4 comentarios

 
softer 24 일 전

Está bien ordenado, pero al final el trabajo sigue siendo el mismo y no ha cambiado nada; termina convergiendo en compartamos conocimiento para que yo también pueda trabajar con IA.

 
hanje3765 25 일 전

Debe quedar registrado con qué intención de resolver un problema se escribió ese código.

Con el tiempo, uno termina pensando nada más: ¿con qué propósito habrán hecho esto así?..

 
geekpi 25 일 전

Solo al intentarlo lo sabes: los únicos datos realmente inaccesibles son el foso defensivo.

 
runableapp 25 일 전

Puede que mi comprensión sea limitada, pero, sinceramente, no me queda claro qué es lo que se quiere decir.