- Un estudio de Anthropic verificó experimentalmente cómo afecta el uso de asistentes de codificación con IA al aprendizaje y la pericia de los desarrolladores
- Según los resultados de un experimento controlado aleatorizado, el grupo que usó IA obtuvo en promedio un 17% menos en comprensión conceptual y capacidad de depuración, y la mejora en velocidad no fue estadísticamente significativa
- Sin embargo, los participantes que usaron la IA no solo para generar código, sino también para pedir explicaciones y comprender conceptos obtuvieron puntajes altos
- El estudio muestra que la forma de depender de la IA determina los resultados de aprendizaje, y que la automatización simple puede frenar el crecimiento de habilidades
- Empresas y desarrolladores necesitan una estrategia de adopción de IA que considere el equilibrio entre la mejora de productividad y la acumulación de habilidades a largo plazo
Resumen del estudio
- El estudio fue un experimento controlado aleatorizado realizado para analizar el impacto de los asistentes de IA en el aprendizaje de programación y la pericia técnica
- Los participantes fueron 52 desarrolladores junior con más de un año usando Python y sin familiaridad con la librería Trio
- El experimento se compuso de tres etapas: calentamiento, tarea principal de programación (implementar 2 funciones basadas en Trio) y cuestionario
- Los participantes trabajaron en un entorno de programación en línea con asistente de IA, donde el asistente podía acceder al código y generar código de respuesta
- Los criterios de evaluación se dividieron en cuatro áreas: depuración, lectura de código, escritura de código y comprensión conceptual, con especial énfasis en depuración y comprensión conceptual
Resultados principales
- El grupo con IA obtuvo un promedio de 50% en el cuestionario y el grupo sin IA 67%, mostrando una diferencia de aproximadamente dos calificaciones (Cohen’s d=0.738, p=0.01)
- En velocidad, el grupo con IA fue en promedio 2 minutos más rápido, pero sin significancia estadística
- La mayor diferencia de puntaje apareció en los problemas de depuración, lo que sugiere que el uso de IA podría estar relacionado con una menor capacidad para entender errores
- El efecto de aprendizaje varió según la forma de usar la IA
- Delegar simplemente la generación de código o la depuración llevó a puntajes bajos
- En cambio, combinarlo con preguntas conceptuales o solicitudes de explicación del código llevó a puntajes más altos
Análisis por tipo de interacción con la IA
- Patrones de bajo puntaje (promedio menor a 40%)
- Delegación total a la IA (n=4): dejaron todo el código a la IA y terminaron más rápido, pero con poca comprensión conceptual
- Dependencia progresiva (n=4): al inicio intentaron resolver por su cuenta, pero gradualmente pasaron a depender por completo de la IA, mostrando debilidad conceptual en la segunda tarea
- Depuración repetitiva con IA (n=4): delegaron la resolución de errores a la IA, fueron lentos y obtuvieron puntajes bajos
- Patrones de alto puntaje (promedio de 65% o más)
- Generar y luego entender (n=2): tras generar código, pidieron explicaciones adicionales a la IA, con alta comprensión
- Código y explicación combinados (n=3): pidieron código y explicaciones al mismo tiempo; fueron más lentos, pero mejoró la comprensión
- Exploración conceptual (n=7): trabajaron centrados en preguntas conceptuales; cometieron más errores, pero completaron rápido al resolverlos de forma independiente
Interpretación e implicaciones
- La adopción de IA plantea un problema de equilibrio entre productividad y aprendizaje
- En entornos donde se priorizan los resultados rápidos, existe la posibilidad de frenar el crecimiento técnico de los desarrolladores junior
- El diseño de la forma de usar la IA es la variable clave: más que la automatización simple, se necesitan interacciones que impulsen el aprendizaje
- Las empresas deben gestionar de manera intencional el despliegue de herramientas de IA y el diseño del aprendizaje, y
mantener la capacidad de los ingenieros para verificar el código generado por IA
Conclusión y tareas futuras
- El estudio plantea que la IA puede mejorar la productividad en habilidades ya dominadas, pero ser un obstáculo al aprender habilidades nuevas
- Como el tamaño de la muestra fue pequeño y la evaluación solo cubrió el corto plazo, la relación con el crecimiento técnico de largo plazo sigue sin confirmarse
- Entre las tareas para investigaciones futuras se proponen
- el impacto en áreas de trabajo fuera de la programación
- si el efecto de aprendizaje se mantiene a largo plazo
- las diferencias entre mentoría humana y apoyo de IA
- Incluso en entornos asistidos por IA, el esfuerzo cognitivo y el ensayo y error siguen siendo esenciales para formar pericia, y
la IA debe diseñarse para apoyar al mismo tiempo la eficiencia y el aprendizaje
1 comentarios
Opiniones de Hacker News
Me parece impresionante que Anthropic haya diseñado y publicado este tipo de investigación por su cuenta.
Creo que es algo poco común de ver en otros laboratorios.
Es interesante que el grupo con asistencia de IA fuera apenas un poco más rápido, pero sin significancia estadística.
Al final, parece que la IA sí mejora la productividad, pero en realidad a cambio de una pérdida en la capacidad de aprendizaje.
Hasta que un tercero lo replique y lo verifique, conviene mantener una postura escéptica frente a sus afirmaciones.
No es muy distinto de los “estudios de salud” de las tabacaleras.
Me preocupa que los juniors del futuro terminen creciendo como desarrolladores dependientes de la IA y pierdan la capacidad de resolver problemas por sí mismos.
Mi hipótesis es que quienes usan IA quizá mejoraron menos en programación, pero sí pudieron haber mejorado en su capacidad para especificar requisitos.
El rol del desarrollador principiante está cambiando hacia enfocarse en definir requisitos con claridad.
Probablemente esa estrategia sí les funcione.
La mayoría toma el camino de menor resistencia, pero algunas personas en realidad aprenden más rápido gracias a la IA.
Es decir, no es una conclusión que aplique igual para todos los usuarios.
Me preocupa qué pasaría si estas herramientas de pronto quedaran inutilizables.
Si se cae internet o se agotan los créditos, un negocio y un medio de vida pueden quedar paralizados.
Al final, el desarrollador podría degradarse a un simple portero, incapaz de hacer nada cuando falle el sistema.
He trabajado en muchas partes del mundo, pero el tiempo perdido por problemas de conectividad no llega ni a un día.
Si Anthropic se cae, uso Gemini; si se me acaban los créditos, uso créditos gratis.
Hoy incluso los modelos locales ya son bastante útiles.
En el fondo, todos los humanos modernos dependemos de servicios en línea.
Si no te gusta ese riesgo, tienes que pagar por una alternativa menos eficiente pero más estable.
Y si algo así ocurriera, creo que sería mejor seguir procedimientos de contingencia que volver a las prácticas de antes.
Antes compilábamos manualmente y subíamos por ISDN, pero hoy CI/CD ya hace ese trabajo.
Si algo falla, se arregla; el despliegue manual más bien trae problemas mayores.
Ese efecto se nota especialmente al aprender librerías nuevas.
He trabajado de forma productiva en vuelos largos sin internet.
Los humanos, de hecho, solemos adaptarnos mejor cuando el entorno empeora.
El desarrollador senior sigue teniendo ventaja en la comprensión de fondo.
Así como generaciones anteriores entendían ensamblador y hardware, la generación actual aprende a trabajar con IA.
Al final, lo importante es la capacidad de aprender según el contexto.
Yo llevo más de 20 años trabajando y ya olvidé la mayor parte de lo que aprendí, pero eso no es culpa de la IA.
El mal código y los problemas estructurales ya existían antes de los LLM.
Según el estudio, la caída más fuerte aparece en la capacidad de resolver problemas.
Los juniors de hoy están perdiendo oportunidades de depurar por sí mismos.
Yo he trabajado en equipos como el “último debugger”, y hasta me ha tocado encontrar bugs del compilador.
Ahora uso Claude para delegar tareas repetitivas y profundizo solo en las partes donde conviene aprender de forma estratégica.
Gracias a eso, mi aprendizaje se volvió más eficiente.
No pasa nada si no lo aprendes, pero tampoco hace daño aprenderlo.
Al final, un desarrollador humano con pensamiento lógico sigue estando por encima de un LLM.
No hace falta escribirlo, pero sí poder entenderlo.
Antes, los ‘modelos menos inteligentes (GPT‑4, etc.)’ solo te ayudaban hasta el 90%, así que uno tenía que resolver el resto por su cuenta.
En ese proceso surgía una experiencia de aprendizaje profunda.
Los modelos actuales son tan completos que reducen las oportunidades de pensar por uno mismo.
Tal vez sea mejor colaborar con la IA desde el editor que desde la CLI.
Al final, quienes más salen perjudicados son los desarrolladores que todavía están aprendiendo.
Se está formando una cultura en la que todos los perfiles dependen de los LLM.
Diseñar la arquitectura general sigue siendo tarea humana.
Yo uso los LLM como herramienta de aprendizaje, y para visualizar diseños les pido ejemplos y diagramas de manera interactiva.
Por ejemplo, grok 4.1 fast cuesta 10 veces menos y es apenas un poco mejor.
Si el modelo funciona demasiado bien, el pensamiento humano puede volverse más lento.
Pero en un entorno competitivo, al final gana quien aprende las técnicas más eficientes.
Aun así, la IA a menudo solo muestra resultados sobreajustados, y eso es riesgoso.
Todavía faltan formas de resolver bien ese problema.
Al final, los humanos tienen que validar por su cuenta y construir sus propios patrones de aprendizaje.
Es excelente para proyectos de hobby, pero tiene límites en codebases grandes.
La esencia del programador es el aprendizaje continuo.
Llevo 25 años trabajando y aun así sigo aprendiendo cosas nuevas todos los días.
El problema de contratar consultores es que dejan el código, pero el conocimiento se queda afuera.
Al final, programar es aprendizaje en sí mismo.
Muchas veces se trata de adaptar soluciones ya existentes para resolver un problema.
A veces aprender demasiado incluso termina aumentando la complejidad.
Según el estudio, usar IA provoca una caída en la comprensión y en la capacidad de depuración, mientras que la mejora en eficiencia es mínima.
Ver enlace original.
El grupo con IA obtuvo en promedio 50 puntos, mientras que el grupo de programación manual logró 67.
Fue un estudio interesante.
Me hace pensar que muchas veces confundimos la comodidad con la habilidad.
Qué bueno que se estén haciendo estudios así.
Igual que con el aprendizaje de idiomas, si no lo practicas directamente, la habilidad no se mantiene.
Es natural que se deteriore poco a poco cuando dejas de usarla.
Valoro mucho la transparencia y el enfoque científico de Anthropic.
Yo también estoy creciendo más rápido al delegar el desarrollo real y concentrarme en el aprendizaje conceptual.
El título de la publicación puede prestarse a confusión.
El estudio no trata sobre mejoras de productividad en desarrolladores novatos, sino sobre el impacto en el proceso de aprendizaje.
La sociedad funciona más por destreza funcional que por comprensión total.
Yo mismo mantuve una librería de expresiones regulares validada solo con cientos de casos de prueba.
Aunque no entendía a la perfección la implementación, logré generar confianza mediante una precisión basada en tests.
La IA sí mejora la productividad de los principiantes, pero puede obstaculizar la adquisición de habilidades.
Quienes la usan como delegación total obtienen algo de eficiencia, pero aprenden menos.
En cambio, si mantienen patrones de participación cognitiva, pueden conservar el efecto de aprendizaje.
Es decir, la productividad con IA no es un atajo hacia la pericia.
Incluso después de 25 años de trabajo, sigo aprendiendo todos los días.