El impacto de la IA generativa en el trabajo altamente calificado: un experimento con desarrolladores de software

Resumen

• Descripción general del estudio
  • Este estudio evalúa el impacto de la IA generativa en la productividad de los desarrolladores de software mediante tres experimentos controlados aleatorizados realizados en Microsoft, Accenture y una empresa anónima de manufactura electrónica de Fortune 100.
  • Los experimentos se llevaron a cabo como parte del trabajo diario de cada empresa, y a desarrolladores seleccionados aleatoriamente se les proporcionó GitHub Copilot, un asistente de programación impulsado por IA.
  • Este estudio, realizado con un total de 4,867 desarrolladores de software, encontró que la cantidad de tareas completadas por los desarrolladores que usan herramientas de IA aumentó en 26.08% (error estándar: 10.3%).
  • En particular, los desarrolladores con menos experiencia mostraron mayores tasas de adopción y mejoras de productividad.

Resumen de GN⁺

• Este estudio muestra que la IA generativa puede mejorar significativamente la productividad de los desarrolladores de software.
• Es especialmente útil para los desarrolladores con menos experiencia, lo que sugiere que las herramientas de IA pueden ayudar a suavizar la curva de aprendizaje.
• Las herramientas de IA como GitHub Copilot pueden desempeñar un papel importante para aumentar la eficiencia del desarrollo de software.
• Otros proyectos con funciones similares incluyen TabNine y Kite.

[GN⁺]

Comentarios de Hacker News

• Opinión de ingenieros con experiencia

  • Copilot, para ingenieros con experiencia, más bien es un estorbo
  • La IA es muy útil en la etapa previa a programar
  • Si los desarrolladores con experiencia aprovechan bien la IA, pueden obtener mayores beneficios

• Preocupación por el deterioro en la calidad del personal de TI

  • Las empresas asignan más funciones a una sola persona para reducir personal
  • Con la adopción de DevOps y DevSecOps se han producido recortes de personal
  • A los nuevos desarrolladores les resulta difícil aprender muchos roles en entornos complejos
  • Usar ChatGPT es una consecuencia natural

• Deuda técnica por el uso de IA por parte de desarrolladores con poca experiencia

  • Los desarrolladores con experiencia tienen que resolver la deuda técnica generada por desarrolladores con poca experiencia al usar IA
  • Los desarrolladores que no tienen mucho interés en la tecnología muestran más interés por la IA

• Falta de un resumen suficiente de los resultados del estudio

  • Los resultados del estudio están resumidos de forma demasiado simple
  • Los resultados varían mucho según la empresa y la trayectoria del desarrollador
  • En Microsoft no se obtuvieron resultados estadísticamente significativos

• Impacto de los LLM en el crecimiento de los desarrolladores

  • Los LLM pueden obstaculizar el crecimiento de los desarrolladores
  • Cuando los desarrolladores junior usan LLM, se reemplaza el proceso de aprendizaje
  • La habilidad práctica termina siendo ajustar prompts

• Diferencia de productividad entre desarrolladores con experiencia y desarrolladores junior

  • En los desarrolladores con experiencia, el aumento de productividad al usar Copilot no es grande
  • El aumento de productividad de los desarrolladores junior puede traducirse en una reducción de la productividad de los desarrolladores con experiencia

• La ayuda de la IA al aprender nuevas tecnologías

  • La IA ayuda más al aprender nuevas tecnologías

• Actualización de Copilot

  • Copilot funciona sobre la base de GPT-3.5
  • Copilot Chat, actualizado a GPT-4, se lanzó el 30 de noviembre de 2023

• Qué significa el aumento en la cantidad de PR

  • Lo importante no es que aumente la cantidad de PR
  • Lo importante es si la IA incrementa la cantidad de elementos que pasan QA, si reduce bugs, etc.
  • Simplemente contar la cantidad de PR no es útil

• Resultados del uso de IA en la empresa

  • Como resultado del uso de IA en la empresa, fueron despedidos los desarrolladores ineficientes