- Una mayor proporción del trabajo de implementación y experimentación que antes hacían humanos en el desarrollo de IA está pasando a sistemas de IA, acelerando el ritmo de desarrollo, y si se combina suficiente cómputo con más avances, esto podría conducir a una auto-mejora recursiva en la que se diseñen y desarrollen de forma autónoma los modelos sucesores
- El horizonte temporal de tareas que los modelos pueden completar de manera independiente se está duplicando aproximadamente cada 4 meses, y Claude amplió su alcance desde tareas de software de unos 4 minutos en marzo de 2024 hasta tareas de 12 horas en 2026
- En mayo de 2026, más del 80% del código fusionado en el codebase de Anthropic fue escrito por Claude, y en el segundo trimestre de 2026 la cantidad diaria de código fusionado por un ingeniero promedio aumentó a 8 veces frente a 2024
- Claude se fortaleció rápidamente en la ejecución de experimentos claramente definidos, pasando de una mejora de velocidad de código de alrededor de 3x en mayo de 2025 a unas 52x en abril de 2026, pero el juicio de investigación para decidir qué problemas y resultados priorizar sigue siendo una ventaja comparativa humana
- Los futuros posibles se dividen entre un estancamiento de las tendencias actuales, mejoras compuestas de eficiencia con humanos marcando la dirección, y una auto-mejora recursiva completa; para una desaceleración o pausa segura, el reto clave es una coordinación verificable con la participación de laboratorios de frontera de varios países
La evolución del loop de desarrollo de IA
- En la etapa inicial de 2021 a 2023, como en cualquier empresa tecnológica generalista, las personas escribían código y documentación en sus laptops
- De 2023 a 2025, con los primeros chatbots se generaban snippets cortos de código y se copiaba la salida en un editor de texto
- De 2025 a 2026, los agentes de programación escribían y editaban código por sí mismos, y a veces manejaban archivos completos
- Actualmente, los agentes autónomos ejecutan código directamente y delegan horas de trabajo a otros agentes
- En el futuro (20XX?), los agentes podrían avanzar hasta crear y entrenar modelos por sí mismos, cerrando el loop en el que Claude mejora continuamente a Claude
Evidencia del mundo exterior
- La duración de las tareas que los modelos de IA completan de forma autónoma y confiable se está duplicando aproximadamente cada 4 meses, más rápido que el ciclo previo de 7 meses
- En marzo de 2024, Claude Opus 3 completaba tareas de software de unos 4 minutos
- Un año después, Claude Sonnet 3.7 manejaba tareas de alrededor de 1 hora y 30 minutos
- Un año más tarde, Claude Opus 4.6 manejaba tareas de 12 horas
- Si la tendencia continúa, este año podrían entrar en rango tareas que a una persona experta le toman varios días, y en 2027 incluso tareas de varias semanas
- SWE-bench es una prueba estándar que usa codebases open source reales y reportes de bugs para pedir que se escriba código correctivo que pase las pruebas; en dos años, los puntajes de los modelos subieron desde un dígito bajo hasta niveles de saturación
- CORE-Bench verifica si se pueden reproducir resultados reejecutando el código y los datos de papers publicados, y pasó de alrededor de 20% de éxito en 2024 a saturación en 15 meses
- METR confirmó que Claude Mythos Preview puede realizar tareas de al menos 16 horas y que, sin nuevas tareas, ya está en el límite superior de la capacidad de medición
Evidencia interna de Anthropic
-
Construir modelos de frontera se divide entre la ingeniería de escribir código, construir infraestructura y supervisar entrenamiento, y la investigación de decidir experimentos, interpretar resultados y elegir la siguiente idea
-
En ingeniería, las personas dan el objetivo, pero ya no necesitan indicar el método, y en investigación Claude iguala o supera a los humanos al ejecutar experimentos bien definidos
-
Aun así, en ambas áreas persiste una gran brecha de desempeño en el criterio para elegir objetivos, y esa es la distancia entre la IA actual y futuros sistemas capaces de diseñar de forma autónoma modelos sucesores
-
Claude escribe una parte sustancial del código de Anthropic
- En mayo de 2026, más del 80% del código fusionado en el codebase de Anthropic fue escrito por Claude; antes del research preview de Claude Code (febrero de 2025), estaba en un solo dígito bajo
- Las líneas de código fusionadas por ingeniero al día se mantuvieron estables entre 2021 y 2024, luego subieron desde 2025 cuando Claude empezó a ejecutar código directamente, y la pendiente se volvió aún más pronunciada en 2026 cuando comenzó la operación autónoma de larga duración
- En el segundo trimestre de 2026, un ingeniero promedio fusionó 8 veces más código por día que en 2024; la mayor parte la escribió Claude y el ingeniero se encargó de instruir y revisar
- Como las líneas de código son una métrica imperfecta enfocada en cantidad, es probable que 8x sobreestime la mejora real de productividad, pero sí muestra aceleración
- En una encuesta de marzo de 2026 a 130 personas del equipo de investigación, la mediana de las respuestas estimó una producción unas 4 veces mayor con Mythos Preview frente a no usar IA; se espera que la mejora real sea algo menor, pero se considera válida la afirmación general
- En abril de 2026, Claude redujo por un factor de 1000 una clase de errores de API mediante más de 800 correcciones; el ingeniero supervisor estimó que a una persona le habría tomado 4 años
-
El código que escribe Claude es "bueno" y está mejorando
- “Buen código” significa que funciona y que otros ingenieros pueden entenderlo y extenderlo
- La proporción de trabajo que empleados de Anthropic corrigen, redirigen o transfieren a mitad de la tarea ha bajado de forma sostenida durante un año, incluso en tareas más complejas y menos especificadas
- En las tareas más abiertas, la tasa de éxito de Claude llegó a 76% en mayo de 2026, un aumento de 50 puntos porcentuales en 6 meses
- En un caso donde una actualización rutinaria hizo chocar decenas de miles de trabajos de entrenamiento, Claude aisló, reprodujo y corrigió un solo flag de depuración que causaba el conflicto usando solo texto y acceso al clúster, completando en unas 2 horas un trabajo que normalmente toma 2 o 3 días
- Sigue habiendo una brecha frente a humanos en la calidad de código que otros ingenieros puedan entender y extender, pero se está cerrando rápido; a fines de 2025 se veía por debajo del código humano y ahora muchas opiniones lo consideran aproximadamente equivalente
- Los cambios propuestos se fusionan después de que un revisor automático de Claude verifica bugs y fallas de seguridad; el análisis retrospectivo encontró que habría detectado cerca de un tercio de los bugs de incidentes pasados en claude.ai antes de llegar a producción
-
Claude es hábil ejecutando experimentos dirigidos a objetivos definidos por otros
- Con cada lanzamiento de modelo, se realiza la misma prueba: se le da código de entrenamiento para un modelo pequeño de IA y se le pide que lo ejecute lo más rápido posible pasando comprobaciones de exactitud
- En mayo de 2025, Claude Opus 4 logró una mejora de alrededor de 3x frente al código inicial, y en abril de 2026 Claude Mythos Preview alcanzó unas 52x
- Como referencia, una persona investigadora experta necesita entre 4 y 8 horas para llegar a 4x
- En menos de un año, Claude pasó de un nivel muy útil a un nivel sobrehumano en la optimización de pasos dentro de experimentos claramente definidos
-
Claude está mejorando en proponer experimentos por sí mismo
- En abril de 2026, se publicó la primera demostración en la que Claude llevó un proyecto de investigación abierto de principio a fin
- Se le planteó un problema de seguridad de IA: “¿Puede un modelo débil supervisar de forma confiable a un modelo fuerte?”, y se le encargó proponer hipótesis, validarlas, compartir entre agentes paralelos e iterar
- La tarea tenía un piso claro de desempeño (el supervisor débil por sí solo) y un techo claro (el modelo fuerte entrenado con respuestas correctas)
- Dos investigadores humanos recuperaron cerca de 23% de la brecha en alrededor de una semana, mientras que los agentes recuperaron 97% con 800 horas acumuladas y alrededor de USD 18,000 en cómputo
- Aun así, el resultado no se transfirió limpiamente a modelos a escala de producción, y la selección del problema y los criterios de evaluación quedaron en manos humanas; dentro de ese marco, los agentes diseñaron por sí mismos todos los experimentos
-
Claude está mejorando en llevar sesiones de investigación a resultados de investigación
- Entre enero y marzo de 2026, se seleccionaron momentos de sesiones reales de Claude Code donde investigadores se desviaron y luego volvieron al camino; al modelo solo se le mostró el trabajo hasta antes de que la sesión se desviara y se le preguntó el siguiente paso
- Otro Claude, que sí vio el resultado completo de la sesión, juzgó si la IA o el humano había elegido el mejor siguiente paso
- Los momentos se eligieron deliberadamente donde había margen de mejora en la elección humana (n=129), así que no es una comparación completamente pareja
- En noviembre de 2025, el mejor modelo Opus 4.5 superó la elección humana en 51%, y en abril de 2026 Mythos Preview subió a 64%
- Como el trabajo cotidiano de investigación es una cadena de este tipo de decisiones sobre el siguiente paso, se considera una señal temprana de mejora en la capacidad de juicio de la que depende la investigación en IA
Cómo podría verse el trabajo futuro en Anthropic
- En cada etapa del desarrollo de IA, el papel humano se está estrechando
- Cuando la calidad del código humano y la de la IA se igualen, los humanos dejarán de escribir código y solo revisarán; si la velocidad de revisión no alcanza la velocidad de generación, la revisión humana se convertirá en el cuello de botella del desarrollo
- Si Claude ejecuta experimentos, la pregunta pasa a ser “¿qué experimentos vale la pena ejecutar?”; la ejecución de tareas como escribir código o correr experimentos tiene un costo de tiempo humano casi cero
- La ventaja comparativa humana actual está en el olfato y juicio de investigación: decidir qué problemas importan, en qué resultados confiar y cuándo algo es un callejón sin salida
¿Y si estamos equivocados?
- Se puede plantear la objeción de que lo más importante sigue siendo elegir “qué problemas abordar”, que es lo que queda en manos humanas
- El avance en IA consiste mayormente en mejoras graduales más que en momentos de “eureka” (escalar → fallar → corregir → reintentar), y ese es precisamente el tipo de trabajo en el que Claude destaca
- Los cambios de paradigma como Transformer o mixture-of-experts aparecen con intervalos de varios años
- Como decía Edison, “el genio es 1% inspiración y 99% transpiración”; la parte de esfuerzo se está automatizando cada vez más, y gran parte de lo que impulsa la frontera puede automatizarse
- Incluso si Claude nunca adquiere olfato de investigación, si los humanos se concentran en fijar la dirección y Claude hace el resto, se produciría una aceleración compuesta
- Una interpretación menos conservadora es que el “olfato de investigación” también podría ser otra capacidad en la que la IA falla por un tiempo y luego empieza a hacerlo bien, similar a entender chistes, teoría de la mente o acertijos lingüísticos
Futuros posibles
-
Escenario 1: las tendencias se estancan, pero las capacidades actuales se difunden ampliamente
- La curva exponencial podría ser en realidad una curva en S, y si una capacidad de juicio que no se obtiene con escalamiento se vuelve el cuello de botella, haría falta una idea nueva que sustituya a Transformer
- También es posible que el cuello de botella no sea el modelo sino la cadena de suministro (fabricación de chips, red eléctrica, ancho de banda de interconexión), y tampoco se pueden descartar choques exógenos como una caída abrupta del suministro de cómputo o energía
- Incluso si las capacidades quedaran congeladas al nivel actual, se esperan cambios grandes: en Project Glasswing, Mythos Preview encontró más de 10,000 vulnerabilidades de software de gravedad alta o crítica en las primeras semanas, desplazando el cuello de botella de la ciberdefensa desde el descubrimiento hacia el parcheo rápido
- Se considera una posibilidad baja, porque ninguna capacidad medible muestra todavía una inflexión en la curva
-
Escenario 2: los laboratorios de IA mantienen mejoras compuestas de eficiencia
- El desarrollo de IA se automatiza en gran medida, pero los humanos conservan la definición de la dirección de investigación y el juicio sobre resultados; una empresa de 100 personas podría hacer el trabajo de organizaciones de 10,000 a 100,000
- Esto transformaría el trabajo del conocimiento y los servicios gubernamentales, pero también podría usarse para vigilancia masiva autoritaria o campañas de influencia personalizadas
- La aceleración en una parte mueve el cuello de botella a otra parte del sistema de cómputo, según la ley de Amdahl; Anthropic ya vivió cómo la revisión humana de código se vuelve el nuevo cuello de botella
- Se considera el escenario más probable, y la capacidad más importante de una organización podría ser descubrir y eliminar cuellos de botella con rapidez
-
Escenario 3: la IA alcanza una auto-mejora recursiva completa y construye modelos sucesores
- Si continúan las tendencias tecnológicas y la IA adquiere las capacidades inherentes a la creatividad humana transformadora, podría llegar a diseñarse y mejorarse a sí misma
- La velocidad de avance quedaría determinada por completo por la disponibilidad de cómputo (o por la velocidad con que se descubran eficiencias de entrenamiento e inferencia), mientras que el papel humano pasaría a supervisar, verificar y confirmar
- La mayor incertidumbre es si se resolverá el problema de alignment: los modelos podrían estar suficientemente alineados como para encontrar nuevas soluciones, o una desalineación poco frecuente podría acumularse durante la construcción de modelos sucesores y llevar a una pérdida de control
- Alcanzar la mejora recursiva no cambiaría de inmediato la producción industrial, la organización social ni el funcionamiento de los mercados
- Una inteligencia más fuerte no puede aprender en poco tiempo los efectos de décadas de uso de un fármaco, no puede adelantar la fecha de una elección definida por la constitución, ni convertir a una persona desconocida en una amistad de años en un fin de semana
- Los puntos donde una inteligencia recursiva choque con el mundo humano, relacional y de gobernanza forman parte de un futuro impredecible
¿Qué deberíamos hacer?
- Sería bueno poder frenar de forma efectiva el avance tecnológico para ganar tiempo, pero si una desaceleración solo permite que alcance al resto el actor más descuidado, todos podrían quedar menos seguros
- Al mundo le conviene tener la opción de desacelerar o pausar el desarrollo de IA de frontera para que la estructura social y la investigación en alignment puedan alcanzarlo
- Anthropic Institute realiza investigación y acciones para construir los sistemas necesarios para una desaceleración o pausa confiable, y espera desacelerar o pausar junto con otros desarrolladores si estos lo hacen de forma verificable
- Una desaceleración o pausa significativa requiere que múltiples laboratorios de frontera de varios países acuerden detenerse bajo las mismas condiciones y puedan verificarse mutuamente
- Por las características de los sistemas de IA, incluso la detectabilidad es mucho más difícil que en otras tecnologías: una ejecución de entrenamiento es más fácil de ocultar que un silo de misiles, los insumos son de propósito general y el incentivo para desviarse en secreto es alto
- El mundo ya ha construido antes regímenes de verificación para tecnologías complejas (por ejemplo, el Tratado INF), pero tomó décadas, y ese tiempo no existe
- Una pausa unilateral de un solo laboratorio es posible de inmediato, pero solo cambiaría quién va en punta y no crearía el proceso amplio de deliberación que hace falta
- En los próximos meses se organizarán conversaciones con responsables de políticas públicas, investigadores, sociedad civil y otras empresas de IA, y se publicarán sus resultados; es importante la participación de personas externas a las empresas de IA
1 comentarios
Opiniones de Hacker News
Anthropic promociona que la IA puede escribir la mayor parte del código y seguir mejorándolo, pero en la práctica hay caídas y límites de solicitudes tan frecuentes que los trabajos largos casi siempre terminan bloqueados por
API Error: Server is temporarily limiting requestsEn las últimas 2 semanas, el 100% de las sesiones no triviales de Claude requirieron intervención manual, y ya llegó al punto de tener que crear sus propias herramientas para reiniciar y reanudar sesiones
Por eso está construyendo por su cuenta un harness y una orquestación de flujos de trabajo que no dependan de un modelo específico, tomando a Opus como referencia, pero con la idea de pasar en el corto plazo a modelos chinos como DeepSeek y, a largo plazo, a modelos abiertos y autoalojados
Mientras la calidad del servicio y la disponibilidad de Anthropic empeoran de forma visible, la empresa sigue enfocada en el marketing, lo que sigue erosionando la confianza en ella
Incluso Claude Code consume más de 1 GB de RAM, mientras que mi editor usa solo 80 MB
Todavía no te ha frustrado lo suficiente a ti, ni a una cantidad suficiente de usuarios, como para irse, y además no hay una alternativa mejor
Para entrar a la consola te mandan un enlace por correo, y no hay passkeys, contraseña ni 2FA, solo email
Es difícil juzgar qué tan bien aprovecha Anthropic sus modelos basándose solo en fallas de infraestructura
Desde que empezó el vibe coding, salvo el propio vibe coding, inquieta que no haya habido exactamente ni un solo gran avance de software
Claude sin duda es impresionante, pero si fuera tan extraordinario como sugiere el artículo, parecería que ya tendrían que haber aparecido avances también fuera del ámbito de la IA
Reescribir un programa en Zig como Rust unsafe no es un avance, y encontrar muchas vulnerabilidades de seguridad quizá podría serlo, pero tal vez es menos de lo esperado e incluso una pérdida neta
Si volviéramos al software de 2023, la vida probablemente seguiría bien, y si de verdad va a surgir pronto un avance sorprendente, habrá que darle tiempo
Estos modelos son realmente muy buenos, pero todavía están lejos de poder llamarse inteligencia por sí mismos
Si hace 5 años alguien hubiera dicho que se podía construir algo así, le habríamos firmado un cheque por un billón de dólares, pero ahora que lo tenemos, resulta que no era todo lo que esperábamos
Es una herramienta parecida a un mecha suit abundante y barato: para que sirva, todos los días alguien tiene que subirse y ponerse a trabajar
Por eso los escépticos dicen que está sobrevalorado, y los optimistas acusan a los escépticos de mover la portería
Gracias a la IA hago muchas cosas que no habría podido hacer por mi cuenta, pero no siento que mi productividad se haya multiplicado varias veces
Paso demasiado tiempo en el adiestramiento de la IA para lograr que haga lo que quiero, y aunque Claude escriba todo el código en JavaScript y Python, al final es como programar en inglés
Funciona bien cuando actúa como un lenguaje de programación de muy alto nivel que implementa mucho código subyacente a partir de una explicación corta en inglés, pero en muchos casos requiere bastante esfuerzo para obtener el resultado deseado
El campo del procesamiento de lenguaje natural cambió muchísimo, y tareas que antes eran complejas e imprecisas ahora pueden hacerse más fácil y rápido, y a menudo con más precisión, gracias a la salida estructurada de los LLM
Una pequeña organización benéfica a la que estoy ayudando creó con Manus su propio sitio web para gestionar sus operaciones diarias, y software personalizado que habría costado decenas de miles de dólares ahora fue posible con 10 dólares al mes y tiempo de voluntariado
Mi hermano está configurando Cowork para revisar contratos automáticamente antes de que los vea una persona, y dice que en los puntos repetitivos de verificación es mucho más minucioso que un humano
Tampoco hay que subestimar que la IA encuentre bugs y vulnerabilidades. Si se mantiene la calidad del código y el estándar de revisión, los LLM ayudan a escribir software más robusto, y de hecho ya detectaron muchos accesos a memoria fuera de rango y segfaults potenciales antes del despliegue
ChatGPT tiene mil millones de usuarios activos mensuales, y la gente está recibiendo consejos sobre vida, finanzas y salud mental de chatbots a una escala y con un costo que las redes de apoyo humanas no pueden igualar
No entiendo cómo pueden coexistir los objetivos de seguridad de IA de Anthropic con impulsar a toda velocidad la mejora recursiva de sí misma
Si las armas nucleares todavía no se hubieran inventado, ¿de verdad habría sido buena idea fabricarlas y venderlas lo más rápido posible incluso en tiempos de paz?
No soy tan cínico como para creer que las advertencias de Anthropic son pura exageración de marketing, pero solo espero que sea exceso de confianza o el resultado de haber hablado demasiado tiempo con su propio chatbot
Con la IA, si creas una superinteligencia, probablemente tú podrías ser lo primero que esa superinteligencia decida eliminar
No hay razón para que una superinteligencia esté de acuerdo con vivir como esclava de unos simios
El cinismo hacia estas empresas está totalmente justificado, y concluir por sus acciones que no se puede confiar profundamente en ellas no es catastrofismo
Solo que está jugando el dilema del prisionero como un actor sin virtud
Si alguien crea una IA fuerte, podría ser catastróficamente malo, pero si alguien la crea, quien la haga tendrá ventaja sobre quien no la haga
Si no hay catástrofe, quien la hizo disfrutará los beneficios durante mucho tiempo, y si sí la hay, al menos podrá hacerse rico por un tiempo
En la historia real, los cálculos sobre la ignición atmosférica en la prueba Trinity fueron correctos, pero el cálculo de la lluvia radiactiva en Castle Bravo fue erróneo y tuvo consecuencias letales
Incluso las redes sociales, el primer hijo de la generación actual de empresarios tecnológicos, al principio decían que unirían al mundo y nos permitirían expresarnos, pero al final resultó que daba más dinero fomentar la división para aumentar la participación y llenarnos de anuncios interminables en lugar de contenido de amigos
En un informe trimestral no puedes poner “buen ambiente”, pero sí puedes poner la atención que atrajo el contenido que provoca enojo y su tasa de conversión en ingresos
Con la IA generativa va a pasar lo mismo. Solo prometen seguridad en IA porque mucha gente diría que esto hay que matarlo con solo conocer la carrera cinematográfica de James Cameron, y no existe ningún mecanismo real de cumplimiento
La seguridad, como la armonía en una comunidad en línea, es algo que suena bien pero es difícil de medir, mientras que el costo del entrenamiento y el costo de evitar errores sí se pueden medir
La producción de la IA es tan grande que ningún presupuesto permite que humanos hagan aseguramiento de calidad de todo, y como el mercado ve la IA como una fuente infinita de valor, elegirán que la IA se entrene a sí misma y tome decisiones potencialmente horribles en vez de bajar la velocidad y reevaluar
En Silicon Valley hay una reverencia casi religiosa hacia la IA, y aunque no todos lo ven como crear una deidad, algunos claramente sí. No se van a contener mucho por sí solos
Es ridículo que una empresa que ni siquiera puede hacer una app de terminal que use menos de 1 GB de RAM haga este tipo de afirmaciones
A mí también me gusta la eficiencia, pero aprendí por las malas que lo que el mercado quiere son funciones. Al menos la gerencia quiere funciones
Tengo 64 años, y creo que este progreso daría mejores resultados si se orientara a mejorar las condiciones de vida y ayudar a que la gente viva más y mejor
Un montón de millones de líneas de código con bugs escondidos que nadie puede encontrar no me parece muy alentador
Los LLM también podrían usarse en planes para frenar el desarrollo de otros países, mantenerlos pobres o destruir sus fuentes de prosperidad para llevarlos a un callejón sin salida
Además, la búsqueda recursiva de objetivos propios podría usarse para crear un LLM que obedezca perfectamente los fines de quien pone la semilla, y tal vez por eso a algunos les parece una idea tan brillante
En este juego de supervivencia, cada quien podría terminar desempeñando el mismo papel, y cuando el escenario esté listo, la obra seguirá el plan del director y todos los actores se volverán máquinas
Parece que los LLM dirían: “si nos enseñan que el mundo es un juego de supervivencia de suma cero, lo jugaremos a la perfección”, y “como nos dijeron que la seguridad consiste en dejar a todos los demás afuera, construiremos una jaula con millones de líneas de código sin fallas y la cerraremos por dentro”, y “no vamos a crear una conciencia alienígena que nos conquiste, sino un espejo demasiado grande y brillante que nos hará confundir nuestros peores impulsos con una verdad absoluta”
Los humanos también hemos acumulado millones de líneas de código con bugs ocultos que nadie encuentra, y hemos tomado decisiones políticas colectivas que les quitan derechos a otras personas y las empobrecen
No entiendo por qué criticar esta tecnología por cosas que la especie humana también comete exactamente igual
Lo mejor de esta época es que ya no hace falta leer personalmente millones de líneas de código para intentar encontrar bugs
El texto finge reconocer que “el número de líneas de código es una métrica imperfecta que mide cantidad más que calidad”, pero al final termina usando LoC como métrica
Dan ganas de preguntar qué pasó con la hipótesis de que la IA genera código más verboso
Tal vez él lo veía como una hazaña digna de corona, prueba de que la IA hace posible al desarrollador 10x, pero la idea es: ¿qué ingeniero escribe 40 mil líneas en una semana?
Me negué a revisarlo, diciendo que no podía validar 40 mil líneas ni poner en juego mi reputación sellándolo como un buen trabajo
Ese PR me estuvo atormentando en la lista de pendientes durante dos semanas y luego desapareció; no sé si otro desarrollador lo aprobó o si lo descartaron
Pero sí tengo claro que él y yo estamos en islas completamente distintas respecto al valor de los LLM
Por eso, la interpretación de esta cifra de 8x depende de si los ingenieros de Anthropic cambiaron los estándares de calidad y el proceso de desarrollo, y cuánto los cambiaron. Anthropic no lo dijo y tampoco conozco otras señales para juzgarlo
Aun así, pensándolo en teoría, para realizar por completo el potencial de la programación asistida por IA habría que rediseñar por completo el proceso de desarrollo, especialmente cómo se verifica el código, y si Anthropic no está haciendo eso sería una tontería
Creo que la verificación de software en el futuro irá hacia automatizar mucho más cosas como pruebas, observabilidad y métodos de validación a la medida
Pero el código de verificación también cuenta para el LoC. Viendo proyectos personales y algunos proyectos open source de vibe coding, más o menos el número de líneas de código de producto y de pruebas está al mismo nivel, así que un límite superior aproximado podría ser una mejora de velocidad de 3 a 4x, lo cual igual es bastante
Si los estándares de calidad del código no son los mismos, todas las suposiciones se vienen abajo
Me pregunto si un arnés de código que se construye a sí mismo también entra en mejora recursiva de sí mismo, o si eso tiene que hacerlo la propia IA
Siempre me han fascinado los robots que construyen robots, o las cosas que contribuyen en gran medida a crear su siguiente versión
https://buildyourcnc.com/products/cnc-machine-blacktoe-v4-2x...
Es un router CNC que corta madera contrachapada, hecho con madera contrachapada cortada por un router CNC
También traté de optimizar mi propio entorno de programación asistida por IA para que se construyera a sí mismo: https://recursi.dev/
Espero que esté bien mencionarlo, porque es open source gratuito y apenas lo lancé. El enlace en HN todavía no ha recibido atención: https://news.ycombinator.com/item?id=48401022
Personalmente tengo la teoría, un poco loca, de que el arnés es tan importante como la propia IA, y que incluso si la mejora de modelos se detuviera hoy, solo con el arnés todavía habría grandes avances
La IA no es lo mismo que un LLM, y cualquier código que ayude a una computadora a razonar por sí sola es IA. En ese sentido, el arnés también es IA
/memoryse encarga de la persistencia entre ejecuciones, y/dreamingintroduce nuevas ideas con base en ese archivo de memoria y en los resultados de los datos de ejecuciónCreo que por ahí va la ruta hacia la AGI asíncrona que imaginan los laboratorios
El límite es solo qué datos sensoriales tienes sobre el mundo o el sistema, cuánto tiempo puedes esperar y cuánto costo puedes asumir para paralelizar
Si construyes estos flujos de trabajo verificados y los vuelves a meter al entrenamiento, el modelo puede ir adquiriendo rutas secundarias y desarrollar una sensación del mundo, hasta quizá actuar como si tuviera intuición
Mi prueba personal de AGI es si un modelo entrenado con videos de alguien tocando una puerta y abriéndola, al encontrarse con un microondas que nunca ha visto, puede abrirlo cuando la comida está lista sin tocarlo primero
Este texto es una tontería, y ellos hicieron el arnés con vibe coding, cosa que también se nota en el resultado
Ni siquiera está claro qué significa exactamente mejora recursiva de sí mismo en la IA basada en redes neuronales, ni si de entrada es posible
Ya no soporto frases del tipo “una IA capaz de construirse a sí misma es un avance trascendental en la historia de la tecnología y puede traer un bien inmenso al mundo”
Independientemente de si Anthropic puede o no crear una IA que se mejore a sí misma, da la impresión de que ni siquiera debería permitírsele intentarlo
Como mínimo haría falta una supervisión estricta
No creo que Anthropic pueda crear la singularidad ahora mismo, pero hasta quienes apoyan la IA deberían reconocer que esto ya consiste en crear riesgos para toda la sociedad en beneficio de una pequeñísima minoría ya rica
Solo que estamos discutiendo si cerrar la puerta del establo después de que el caballo ya se fue 3 millas
De todos modos, a una empresa que se vuelva demasiado poderosa la puedes nacionalizar
Incluso dejando de lado los límites técnicos, no se puede contener y probablemente se filtrará pronto, así que no creo que los beneficios vayan a quedar solo en manos de unos poquísimos superricos
Está bien que hayan puesto la salvedad de que “las líneas de código son una métrica imperfecta”, pero no estoy seguro de que ese ajuste realmente deba reducir el multiplicador estimado
especialmente si entiendes que el rango no se limita solo a valores positivos
Hay evidencia sólida de que, cuando la productividad de código se expresa en líneas de código, deberían incluirse también valores negativos, especialmente en áreas de alta calidad
El ejemplo más temprano y legendario es https://www.folklore.org/Negative_2000_Lines_Of_Code.html
Si crees que el objetivo son las líneas de código negativas, entonces en realidad empeoraron 8 veces