Nueva investigación sobre GitHub Copilot encuentra una "presión a la baja sobre la calidad del código"

Resultados de una investigación sobre GitHub Copilot encuentran una "presión a la baja" en la calidad del código

• Un nuevo estudio sobre el impacto de GitHub Copilot, basado en IA, en el desarrollo de software mostró resultados negativos.
• El informe técnico "Coding on Copilot" de GitClear investiga la calidad y la mantenibilidad del código asistido por IA en comparación con el código escrito por humanos.
• La investigación encontró tendencias preocupantes para el mantenimiento del código, y se prevé que en 2024 la cantidad de cambios en el código se duplicará frente a 2021, antes de la adopción de la IA.

Contraste con la investigación de GitHub

• Otros estudios, en particular una investigación de GitHub de 2022, encontraron que los desarrolladores que usaron GitHub Copilot completaron su trabajo mucho más rápido.
• La investigación de GitHub midió efectos positivos como aumento de la productividad, mayor satisfacción de los desarrolladores y ahorro de energía mental.
• El estudio de GitClear examina los cambios en la composición del código al usar IA y aclara en qué deberían poner atención los líderes técnicos en 2024.

Opinión de GN⁺

• Este estudio es importante para comprender el impacto de la IA en el desarrollo de software. En particular, destaca los posibles problemas que puede traer el uso de IA en términos de calidad y mantenimiento del código.
• Aunque herramientas como GitHub Copilot pueden mejorar la productividad de los desarrolladores, sugiere que también debe considerarse el impacto en la calidad del código a largo plazo.
• Los líderes técnicos pueden apoyarse en estos hallazgos para prevenir problemas potenciales al usar herramientas asistidas por IA y para establecer estrategias que mantengan la calidad del código.

[GN⁺]

Opiniones en Hacker News

• Un usuario mencionó que canceló su suscripción porque tenía que invertir demasiado esfuerzo mental en corregir errores del código. Dijo que era inútil, especialmente al resolver problemas complejos relacionados con SQL. Le resultaba más fácil escribir por sí mismo lo que quería y le preocupa que los desarrolladores junior se vean abrumados por estas herramientas ineficientes.
• Otro usuario dijo que usar GPT-4 mejoró enormemente su eficiencia al desarrollar una aplicación CRUD en PHP. Comentó que el código generado a partir de instrucciones simples era fácil de entender y, en su mayoría, funcionaba de inmediato. También le ayudó a escuchar los requisitos del usuario y resolver problemas. Señaló que GPT-4 brindó una ayuda valiosa a bajo costo, pero enfatizó que no será efectivo si no se dominan los fundamentos.
• Un participante del debate cuestionó la metodología de comparar la actividad de commits de 2023 con la de años anteriores. Criticó que no se considerara el impacto de Copilot y que un análisis de regresión basado en solo 4 puntos de datos resultara poco convincente.
• Otro usuario señaló que la tecnología se está usando para impulsar el crecimiento del mercado y del gobierno, pero que a menudo lo hace resolviendo problemas de una manera que se superpone sobre abstracciones incompletas. Advirtió que se necesita un cambio cualitativo y expresó preocupación de que los LLMs (Large Language Models) fomenten el error humano de querer alcanzar objetivos sin esfuerzo real.
• Un desarrollador describió su flujo de trabajo y dijo que, si Copilot proporciona código funcional durante la etapa de prototipo, uno puede terminar saltándose gran parte del proceso necesario para comprender bien el problema y estructurarlo correctamente. Añadió que Copilot puede ser muy útil en la etapa final del desarrollo, pero no se debe esperar más de lo que se le da como entrada.
• Un desarrollador junior comentó que asistentes como Codeium suelen parecerle una distracción y le preocupa no aprender la manera en que él mismo escribe código. Dijo que herramientas como Phind sí ayudan a entender los problemas, pero que Codeium a menudo no funciona y eso le resulta incómodo.
• El autor del estudio expresó entusiasmo por la atención de largo plazo a la calidad del código. Dijo que el aumento de duplicación de código y la disminución del movimiento de código en 2023 fueron resultados inesperados. Espera que los equipos de desarrollo y los creadores de asistentes de IA adopten métricas e incentivos que valoren más el código reutilizable que el código recién añadido.
• Un usuario dijo que usó ChatGPT para crear un clon de Yourls basado en Django/Python, pero que no consideró correctamente la función de seguimiento de tráfico. Comparó las herramientas de IA con un desarrollador principiante, pero que comete errores mucho más rápido.
• Se señaló que ya estaba ocurriendo una reacción en contra del principio DRY (Don't Repeat Yourself) y que algunos desarrolladores jóvenes tienen una actitud muy distinta hacia el código. Según el comentario, muestran desprecio por los patrones de diseño y por los principios DRY y SOLID.
• Finalmente, un usuario dijo sentir que Copilot intenta ser demasiado inteligente y por eso a menudo produce resultados incorrectos. Criticó que él quisiera que Copilot fuera un IntelliSense inteligente, pero que en la práctica actúa más como un programador en pareja más torpe. Cree que mucha gente lo está usando para lógica de negocio y que el producto se está orientando en esa dirección.