Las herramientas de codificación con IA obstaculizan el aprendizaje de los desarrolladores, según un estudio de Anthropic
(anthropic.com)Resumen clave en una línea
Las herramientas de codificación con IA pueden ayudar o arruinar el aprendizaje según cómo se usen. Hacer preguntas activas para entender conceptos es clave, y delegarlo todo hace que se pierdan tanto velocidad como aprendizaje.
Resumen del estudio
- Realizado por el equipo de investigación de Anthropic
- Participantes: 52 ingenieros de software
- Diseño del experimento: aprender una nueva librería de Python (Trio) y luego realizar una tarea de codificación
- Grupo con IA: usó una herramienta de codificación con IA basada en GPT-4o
- Grupo de control: usó solo documentación + búsqueda web
- Duración: alrededor de 1 hora de trabajo
Resultados principales
- Grupo que usó IA → puntuación en el quiz 17% menor
- Incluso usando IA, la velocidad de trabajo no mejoró
- Grupo sin IA → experimentó más de 3 veces más errores relacionados con Trio → su capacidad de depuración mejoró de forma natural
Diferencias según el patrón de uso de la IA (hallazgo clave)
- Mal patrón (menos de 40% en el quiz)
- Delegaron todo a la IA (generación completa del código, toda la depuración)
- La dependencia aumentó gradualmente
- Terminaron más rápido, pero con un efecto de aprendizaje muy bajo
- Buen patrón (65% o más en el quiz)
- Usaron la IA solo como herramienta de apoyo para comprender
- Después de generar código, hicieron preguntas adicionales / pidieron explicaciones de conceptos / hicieron preguntas para verificar comprensión
- Segunda mayor velocidad + alto rendimiento de aprendizaje
Conclusiones e ideas clave
- El problema no es usar IA en sí → la forma de uso determina el aprendizaje
- La “experiencia dolorosa de quedarse atascado” es importante para formar pericia
- Si la IA resuelve los errores en lugar del desarrollador → puede haber más velocidad, pero menos comprensión de “por qué ocurrió el error”
- Existe un trade-off entre productividad a corto plazo ↑ y formación de habilidades a largo plazo ↓
Opiniones de desarrolladores en el campo (referencia)
- Positivo: casos de completar en 2 semanas un trabajo de 1 año, con mejora de velocidad de 10x
- Negativo: recomiendan usarla solo con código que ya se entiende; para perfiles junior existe riesgo de deuda técnica
- Opiniones divididas: “la programación se acabó” vs “es incómodo pasar de crear a supervisar”
Sugerencias
- Al aprender nuevas tecnologías: evitar depender totalmente de la IA y permitir intencionalmente la “experiencia de quedarse atascado”
- En tareas donde se necesita productividad: se puede usar la IA de forma activa
- Empresas: además de exigir resultados a juniors, necesitan combinar eso con el desarrollo de habilidades para validar y depurar código generado por IA
- Perspectiva futura: los agentes de IA harán gran parte del trabajo principal → los humanos deberán apartar tiempo por separado para estudiar código y conceptos
Limitaciones del estudio
- Muestra pequeña (52 personas)
- Tiempo de trabajo corto (1 hora)
- Uso de GPT-4o (un modelo ya antiguo para 2025)
- No está claro si la puntuación del quiz predice habilidades de largo plazo
12 comentarios
Es como estudiar problemas de matemáticas con el solucionario abierto y solo mirándolos. En el momento parece que lo entendiste, pero en cuanto cierras el libro no te queda nada.
Estoy 100% de acuerdo.
Lo entiendo muchísimo.
Parece un resultado de investigación que da una respuesta clara de por qué no deberíamos depender por completo de la IA y usarla solo como una herramienta auxiliar.
Un trabajo de 1 año se volvió 2 semanas, pero entonces ¿por qué es 10 veces?
Los dos casos son independientes entre sí, pero el texto del cuerpo está escrito de forma confusa. Si miran el último enlace del artículo, se trata de estos dos casos de abajo.
Un arquitecto de software con 30 años de experiencia lo elogió enormemente, diciendo: “Si lo hubiera hecho de la manera tradicional, habría sido una función que me habría tomado un año, pero la terminé en dos semanas”. Roland Dreier, colaborador del kernel de Linux, dijo: “Hubo un salto enorme en los últimos seis meses”, y comentó que experimentó una mejora de velocidad de 10 veces en tareas complejas.
Si lo hubieran hecho con opus, quizá habrían sacrificado crecimiento, pero no la velocidad.
Creo que cambió el alcance del conocimiento que uno necesita dominar.
Cada vez se amplía más la parte de bajo nivel que deja de ser necesario conocer.
Últimamente, cuando usas modelos, parece que revisar el código se está volviendo opcional.
Así que ya salió una razón por la que los estudiantes o los juniors no deberían usar IA.
¿Pero si no lo usas, no consigues trabajo, no?
¿No será que la estrategia correcta para usar una herramienta como la IA es usarla lo mínimo indispensable al estudiar y aprovecharla activamente al buscar trabajo? Antes y ahora, entre amigos casi no se da eso de debatir críticamente sobre algún tema, ¿no? Más bien se limitan a ver YouTube o a buscar en blogs, pero cuando uno quiere aprender algo, muchas veces la forma más rápida es explicarlo uno mismo.