La ilusión de las promesas sobre AI coding: por qué no vemos una explosión de 'shovelware'
(mikelovesrobots.substack.com)- Al revisar con datos las recientes afirmaciones sobre aumentos de productividad de las herramientas de AI coding, en realidad ni la velocidad ni la cantidad de resultados aumentan de forma visible
- Según la investigación de METR, los desarrolladores creían que las herramientas de AI coding mejoraban su productividad en 20%, pero en realidad cayó 19%
- Las innumerables frases de marketing y las exageradas afirmaciones de productividad 10x por parte de empresas y desarrolladores no se están reflejando en la realidad del mercado ni en los nuevos lanzamientos de software
- No se observa un fenómeno como un fuerte aumento del Shovelware (apps producidas en masa, software de baja calidad), así que no hay cambios visibles
- La exageración de productividad por parte de empresas como GitHub, Copilot, Cursor, Google y OpenAI, así como de algunos desarrolladores, se está usando indebidamente para inversión, reestructuraciones y fijación salarial
- Conclusión central: “Mientras no salga realmente más software, la afirmación de que el AI coding vuelve 10 veces más productivo a un desarrollador es ficticia”, por lo que los desarrolladores no deberían dejarse presionar y deben responder con datos
Introducción: desarrolladores de software molestos con el AI coding
- Tras vivir mucho tiempo como desarrollador de software, el autor siente orgullo e identidad por la programación
- Al inicio de la adopción de herramientas de codificación basadas en IA tenía expectativas altas, pero una investigación reciente (METR) lo llevó al escepticismo
- Pensaba que el AI coding lo hacía aproximadamente 25% más rápido, pero el estudio de METR mostró que en cambio lo hacía 19% más lento
- Ese estudio confirma que la percepción de los desarrolladores sobre la eficiencia de las herramientas de IA y los datos medidos directamente son completamente opuestos
- Sus propios experimentos también le hicieron sentir que usar IA no tiene un impacto positivo en el tiempo real de programación
Verificación directa: experimento comparativo con IA y aleatorización
- Aplicó un método experimental para medir la diferencia de tiempo (Delta) entre usar IA y no usarla por unidad de trabajo
- Los datos obtenidos durante 6 semanas no encontraron una diferencia estadísticamente significativa
- A pesar del tamaño reducido de la muestra, confirmó una tendencia en la que el uso de IA en realidad lo hacía 21% más lento (la misma cifra que en el estudio de METR)
- Si realmente hubiera existido una mejora de 2x o 10x, habría aparecido con claridad en los datos
- El sueño actual del AI coding no se está materializando y en la práctica no hay cambios
Expectativas y realidad: por qué no hay una explosión de Shovelware
- Si la revolución de productividad del AI coding fuera real, debería haber una explosión de todo tipo de apps, servicios y juegos
- Circulan por todos lados mensajes de marketing de muchas herramientas de AI coding (“Built to make you extraordinarily productive”, etc.)
- Google, OpenAI y GitHub Copilot también afirman aumentos de velocidad del 25% o productividad 10x para desarrolladores
- Pero en los datos reales de nuevos lanzamientos de software (GH Archive, BigQuery, etc.) no se observa un crecimiento pronunciado ni una explosión
- A pesar de la difusión masiva del AI coding desde 2022, no ha habido grandes cambios en las cifras globales de nuevos releases y proyectos
Impacto en el mercado y realidad de los desarrolladores
- Ya se ven efectos sociales dentro de la industria, como estrategias AI-First, FOMO, despidos masivos y reducción de salarios para desarrolladores
- En la práctica del desarrollo real, las herramientas de IA no están ofreciendo una revolución de productividad
- Ni la curva de aprendizaje ni la pericia con las herramientas explican una diferencia absoluta de productividad
Conclusión: necesidad de un juicio frío y basado en datos
- La clave es confirmar con datos que hasta ahora no ha cambiado el volumen de nuevo software entregado
- No hay evidencia para la afirmación de que alguien se haya convertido en un coder 10x gracias a la IA
- Los desarrolladores no deben ceder ante la presión y deben elegir herramientas con base en los datos que ellos mismos hayan verificado
Respuesta a objeciones frecuentes
-
"Si dominas bien el prompting, te conviertes en un desarrollador 10x"
- Si de verdad hubiera personas logrando una productividad 10x, la producción mundial de nuevo software ya se habría más que duplicado
- La evidencia importante no es la afirmación, sino los resultados objetivos (apps, proyectos, etc.)
-
"Todavía está en una etapa temprana; hace falta tiempo"
- Ya se han invertido miles de millones de dólares y además ya se está implementando en el trabajo real
- Las decisiones de hoy afectan directamente la vida de personas reales
-
"Si no lo adoptas ahora, te vas a quedar atrás"
- Incluso en datos de Github Copilot, el aumento real de productividad asociado a una mayor experiencia es extremadamente pequeño (29% → 34% de tasa de aceptación)
-
"Solo mejoró la calidad; la cantidad sigue igual"
- La calidad general de la industria, de hecho, está retrocediendo, y también se están haciendo menos pruebas
- Si de verdad fuera una herramienta para crear desarrolladores 10x, la inundación de Shovelware debería ser una realidad
-
"Todo gira en torno a sitios web y hoy ya no importan los nombres de dominio. Todo son subdominios de lugares como Vercel"
- Sigue habiendo muchos usuarios que prefieren dominios propios
-
"El aumento de dominios .ai (47% este año) = aumento real"
- El crecimiento de nuevos dominios se debe solo al pivot de startups de IA, no a una explosión en la cantidad total de nuevos dominios
- El número total de dominios no muestra eso
-
"La esencia del desarrollo está en tareas distintas al código"
- En entornos de desarrolladores individuales o equipos pequeños, no en grandes empresas, el código sí es el centro real
- Aun así, no se ve un aumento claramente perceptible de nuevos proyectos que satisfagan pequeños impulsos de programar
Cierre
- Los desarrolladores en realidad no están lanzando más cosas
- La afirmación de que el AI coding ofrece productividad 10x se puede refutar con datos
- No hay que dejarse arrastrar por el FOMO ni por la narrativa de marketing de la industria; hay que evaluar con base en resultados reales
- Mensaje del autor: “Si sientes presión, muestra los datos y los gráficos. Exige comprobantes para las afirmaciones de productividad 10x.”
8 comentarios
Para los desarrolladores 10x, con la ayuda de la IA quizá sí puedan dar un salto a algo así como 12x.
La IA es una ilusión. No es confiable y su nivel es bajo. Decir que se puede desarrollar con IA es una mentira exagerada. Es imposible. Y usar IA es un acto irresponsable de abandonar la ética del desarrollador.
Creo que recién podremos decir que la IA ayuda mucho a mejorar la productividad al escribir código cuando llegue al nivel en que podamos dejarle por completo las tareas simples y repetitivas, y concentrarnos totalmente en lo más importante.
Una vez que le das una instrucción, el resultado sale después de esperar varias decenas de segundos, pero tampoco es que puedas aprovechar realmente ese tiempo, y además no siempre puedes esperar un resultado perfecto cada vez que terminan esos pocos segundos.
Al final, tengo que seguir pendiente hasta que incluso esa tarea simple quede perfectamente terminada, y como tampoco puedo cambiarme a otra tarea mientras tanto... se me hizo difícil esperar una mejora realmente significativa.
Más bien, creo que para mejorar la productividad me habría ayudado más conseguir en Karrot a alguien por un salario por hora de 10,000 wones para que hiciera solo tareas simples durante unas cuantas horas.
En lo personal, quedé bastante satisfecho incluso gastando apenas alrededor de 100,000 wones por semana.
En especial, también trabajé con varias señoras que antes hacían labores administrativas, dejaron ese trabajo y ahora son amas de casa de tiempo completo; incluso quienes no saben nada de programación, después de darles retroalimentación unas cuantas veces, lo dejan todo muy prolijo jaja
Incluso me llegaron a hacer códigos boilerplate en un instante usando Excel, con autocompletado, fórmulas, etc...
Mmm... sinceramente, lo que pienso es que la IA sigue siendo una herramienta, así que hay que saber usarla bien.
Con cualquier herramienta, hay mucha más gente que la usa más o menos, o que directamente no sabe aprovecharla bien, que gente que realmente la sabe usar.
Si la configuras para que produzca resultados de calidad, la IA puede mostrar un rendimiento completamente abrumador.
Quizá los que no saben cómo lograr resultados de calidad con IA son los que se la pasan lanzando prompts tontos a lo loco y luego dicen que la productividad bajó. De verdad no entiendo cómo se puede negar la productividad de la IA.
Pero decirlo de esa manera me parece que no demuestra nada, igual que la afirmación de que “quien realmente entiende a fondo la informática y ha acumulado suficiente experiencia es más productivo que cualquier IA”.
Vi el estudio de METR mencionado hace poco, y los resultados explican muy bien algo que yo venía sintiendo y cuestionándome.
Incluso si les pides las "tareas repetitivas" que mencionan en los comentarios de Hacker News, en realidad la mayoría de las veces igual hace falta revisar y corregir manualmente.
No ha sido una ni dos veces que, al ver la lógica desordenada de un resultado "simple" escrito por IA, pensé: mejor lo hubiera hecho yo.
Para trabajos realmente simples, a nivel de copiar y pegar, claro que lo hará bien.
Pero para eso, simplemente copiar y pegar y usar snippets es más eficiente. Además, no hace falta conectarse a internet, subir mis datos al servidor de alguien más y esperar decenas de segundos.
Opiniones en Hacker News
Para mí, la IA es como una curva en forma de campana, y creo que para mucha gente también. Pienso que lo importante es el criterio con el que se evalúa el output. No debería ser “líneas de código”, sino “líneas de código de buena calidad, mantenibles, escalables y fáciles de actualizar”. Bajo ese criterio, el resultado de pedidos como “generar todo el repo” es basura sin sentido, pero que la IA autocomplete código como
getUser(...sí mejora la productividad. No puedo decir con certeza si eso es un aumento de 0.1%, 1% o 10%Desde mi punto de vista, el problema más grave es que los problemas que manejo en mi empresa ahora requieren planificación y ejecución cuidadosas, y la IA no ayuda en absoluto. Pero mi gerente dijo que, como “somos una empresa AI-first”, redujo los plazos de entrega de los proyectos al 20% de la estimación original. Entre los SVP y los PM se está propagando muchísimo este tipo de locura colectiva, y nunca había visto algo así antes
Varias cosas pueden ser ciertas al mismo tiempo. Los LLM no multiplican por 10 la productividad de los desarrolladores en tareas generales elegidas al azar. Pero sí elevan drásticamente la productividad en cierto tipo de tareas. También sirven para automatizar trabajo repetitivo y tedioso; aunque tarden más en tiempo real que una persona, como corren en segundo plano no importa tanto. Los LLM aceleran mucho aprender una API o librería nueva, y ayudan muchísimo cuando necesitas escribir un poco de glue code en un lenguaje que no conoces, porque te ahorran tiempo y aprendizaje innecesario. No siento mucha diferencia de productividad al mantener grandes codebases existentes. Para montar el scaffolding inicial de un sitio web nuevo, los LLM son sorprendentemente buenos. También escriben clases mock enseguida y resuelven al instante tareas complejas como entender bien cómo usar una librería de mocks, que yo hago un par de veces y luego se me olvida. También ayudan en un 70% a entender la estructura de una codebase nueva. En proyectos con diseño complejo, es cómodo preguntar cosas como “oye Claude, ¿dónde están las funciones relacionadas con auth?” para ubicar rutas HTTP o funciones de dependency injection. Creo que hay que usar la herramienta correcta para la tarea correcta
En la mayoría de los casos, no hay más sustancia que videos con código desbordándose por la pantalla y afirmaciones de que “los desarrolladores junior están acabados”. Creo que eso pasa porque la economía es inestable y hay un ambiente cargado de exageración y ansiedad por la expectativa de que la IA venga a salvarnos. A veces sí se consiguen resultados impresionantes con la IA, pero en el fondo, si no tienes cierto nivel de habilidad, no sirve de mucho. La gente de nivel principiante a intermedio solo llena las redes sociales con historias de éxito exageradas. Se ha formado un ambiente en el que cada quien intenta proteger sus “superpoderes de IA”, tanto psicológica como prácticamente. Al final, solo queda esperar a que en algún punto del ciclo de hype se encuentre un equilibrio y se vuelvan a quemar miles de millones de dólares
En mi experiencia, la IA fue útil para algunas tareas menores, como pequeños refactors o automatizar definiciones de tipos, pero en tareas más complejas siempre omitía varias cosas y había que rehacer trabajo. Quizá en el futuro tenga que replantearme esto, pero últimamente he visto más casos de ingenieros con menos experiencia que aceptan sin espíritu crítico como “buen código” lo que produce la IA para implementar funciones grandes. El problema es que ese código no sigue nuestras guías de estilo ni nuestros patrones, o reimplementa lógica desde cero en vez de usar librerías que ya existen, así que al final aumenta la cantidad de código que nosotros mismos debemos mantener. Después incluso aparecen PR gigantes que intentan hacerlo todo de una sola vez
Estoy de acuerdo con lo que se plantea aquí. Incluso usando IA, no he visto aumentos drásticos de productividad. Creo que si un ingeniero de software deja de practicar de forma constante la resolución de problemas, el criterio y el acto de codificar, su conocimiento neuronal puede debilitarse. La promesa de que la IA traerá una productividad 2x o 10x en el futuro no tiene sustancia, y aunque en codebases personales haya habido algo de mejora, en el mercado real no se ha visto un aumento en el lanzamiento de mejores productos. Trabajando en consultoría, con frecuencia veo fundadores o CTO empujando la IA y terminando, al contrario, sin poder gestionar bien el código y generando más caos. Últimamente incluso me toca asumir a menudo un rol de advisor para ayudar a establecer mejores prácticas de ingeniería
Los CEO dicen que la productividad de los desarrolladores existentes sube 10 veces con IA, pero si eso fuera cierto, uno se preguntaría si no deberían contratar a muchísimos más desarrolladores. Si con la misma inversión la productividad sube 10 veces, lo lógico sería meterle dinero a ese “motor” sin parar. Pero en la práctica parece más bien que la productividad sigue igual y solo se están reduciendo costos laborales
Me pareció impactante el análisis que observa la cantidad de lanzamientos de nuevos productos desde un ángulo fresco. En vez de un crecimiento acelerado, se siente que no ha habido un cambio tan grande como se esperaba. Como teoría alternativa, también se puede interpretar que en realidad escribir código no era el cuello de botella para lanzar productos, sino que gran parte del tiempo y esfuerzo se va en explorar qué construir y llevarlo de verdad a una plataforma real. Por otro lado, también coincido en que es demasiado fácil usar mal las herramientas de IA. A veces uno piensa “¡por fin lo entendí!”, y al día siguiente se da cuenta de “ah, resulta que también lo estaba usando mal de otra manera”. Incluso después de más de 20 años desarrollando, sigue sin quedarme claro por qué el desarrollo de software es tan difícil y por qué es tan complicado acelerar la productividad
Nosotros estamos construyendo ese futuro ahora mismo. De hecho, en mi caso empecé a agarrar velocidad desde abril o mayo, cuando la agentic AI se volvió lo bastante buena. Tan solo hoy hice una herramienta CLI que exporta un archivo de iMessage a un sitio web, y algo que antes me habría tomado semanas ahora probablemente lo tendría listo en uno o dos días, hasta con homebrew formula. También estoy avanzando en una app de iOS mucho más rápido que escribiéndola a mano, aunque a propósito voy lento. Como referencia, los datos de esa publicación llegan solo hasta marzo o abril, y yo creo que justo desde ese punto la IA generativa empezó a ser de ayuda real para programar. (Yo uso Copilot desde noviembre de 2022)
En algún momento fui desarrollador de tiempo completo, y después, trabajando como gerente y CTO, me fui alejando cada vez más del desarrollo práctico. Al intentar volver a programar, volver a aprender frameworks, APIs, lenguajes y pequeños trucos técnicos, que antes me parecían interesantes, ahora me resulta irritante. Pero gracias a herramientas como Claude Code y a mi experiencia en diseño de software, volvió a ser posible desarrollar sistemas grandes como antes. No es que mi productividad haya subido 20% ni que vaya 10 veces más rápido. Es que me permitió volver a hacer algo que de entrada ya no pensaba hacer, así que casi quisiera llamarlo un aumento infinito de productividad. Si yo fuera un crack que ama desarrollar, probablemente estas herramientas me parecerían más molestia que ayuda, pero para alguien que normalmente no programa, es justo lo contrario