Devin, el primer ingeniero de software con IA

• Devin es el primer ingeniero de software con IA totalmente autónomo del mundo.
• Devin puede trabajar junto con ingenieros humanos o de forma independiente, y permite que los ingenieros se enfoquen en problemas más interesantes.
• Devin puede planificar y ejecutar tareas de ingeniería complejas, y puede usar herramientas de desarrollo como shell, editor de código y navegador.

Capacidades de Devin

• Devin ha logrado avances en razonamiento y planificación a largo plazo, y puede realizar tareas de ingeniería complejas tomando miles de decisiones.
• Puede colaborar con el usuario, informar el progreso en tiempo real, recibir retroalimentación y tomar decisiones de diseño en conjunto.
• Devin puede aprender tecnologías desconocidas, construir e implementar apps, encontrar y corregir bugs en una base de código, y entrenar y ajustar finamente sus propios modelos de IA.

Rendimiento de Devin

• En el benchmark de programación SWE-bench, Devin mostró una tasa de éxito de 13.86% al resolver issues reales de GitHub, superando ampliamente el récord anterior de 1.96%.
• Devin fue evaluado en un subconjunto aleatorio del 25% del dataset, y mientras otros modelos recibieron ayuda indicando exactamente qué archivos debían editar, Devin lo hizo sin ayuda.

Presentación de Cognition

• Cognition es un laboratorio de investigación en IA aplicada enfocado en el razonamiento.
• Busca desarrollar compañeros de IA que ofrezcan capacidades que superen a las herramientas de IA actuales.
• Cognition recibió una inversión Serie A de 21 millones de dólares liderada por Founders Fund, y cuenta con el respaldo de líderes de la industria.

Contratar a Devin

• Devin se encuentra actualmente en etapa de acceso temprano, y si quieres usar a Devin para tareas de ingeniería, puedes ponerte en contacto con Cognition.

Únete a nosotros

• El equipo de Cognition es pequeño, y el equipo fundador cuenta con 10 medallas de oro de la IOI, además de estar formado por líderes y builders con experiencia en Cursor, Scale AI, Lunchclub, Modal, Google DeepMind, Waymo y Nuro, entre otros.
• Construir Devin es solo el primer paso, y los desafíos más difíciles aún están por venir.

Opinión de GN⁺

• El ingeniero de software con IA llamado Devin simboliza el futuro del desarrollo de software y tiene el potencial de mejorar significativamente la eficiencia del trabajo de ingeniería mediante la combinación de automatización e IA.
• Que una IA haya mostrado una tasa de éxito tan alta al resolver problemas reales de ingeniería es un logro notable, y demuestra qué tan bien puede integrarse el avance de la tecnología de IA en entornos de trabajo reales.
• Sin embargo, es necesario considerar las implicaciones éticas y sociales de que la IA reemplace el trabajo humano. Se requiere un enfoque cuidadoso respecto al impacto de la adopción de IA en el empleo y a los cambios en el rol de las personas.
• Otra herramienta de desarrollo basada en IA que ofrece funciones similares es GitHub Copilot, ampliamente usada para ayudar a los desarrolladores a escribir código.
• Al adoptar tecnologías como Devin, deben considerarse la seguridad de los datos, la privacidad y los temas de transparencia y responsabilidad sobre las decisiones de la IA. Es importante comprender y gestionar el impacto que las decisiones de la IA tienen en los negocios y en los usuarios.

[yangeok]

Me gustaría probar Devin gratis.

[GN⁺]

Comentarios en Hacker News

• Como desarrollador y responsable de producto, intenté usar IA para programar, pero fracasó por la longitud del contexto, las salidas deficientes del modelo y la falta de arquitectura, entre otros factores. No he podido hacer con IA tareas útiles que vayan más allá de ayuda con Leetcode. Incluso intenté con varios modelos de IA una tarea simple de extraer selectores de una página HTML sencilla, pero no tuve éxito. Tenía grandes expectativas sobre el avance tecnológico, pero quiero un producto que realmente funcione bien.
• Los humanos buscan trabajos que den significado y satisfacción. Con el avance tecnológico, los artesanos son los primeros en volverse inútiles. La sociedad envía el mensaje de que, si no produces valor, no se te reconoce dignidad. Al dejar el arte y la ingeniería en manos de la IA, incluso quienes no lo entienden pueden usarlos a bajo costo. Esto plantea preguntas sobre a quién beneficia el avance tecnológico y cuál será el lugar de los humanos en el futuro.
• Scott Wu es una de las pocas personas con puntaje perfecto desde 1989, y nos conocimos en una olimpiada de programación competitiva. Me alegra ver que está aprovechando su talento extraordinario.
• No me impresiona demasiado un sitio web que permite subir archivos de cualquier tamaño sin autenticación. Subí un archivo de 500MB al servidor.
• Si la IA es tan buena, debería usarse para algo útil. Como ingeniero de software senior, escribir código no es el 90% del trabajo; se trata de dividir requisitos complejos en tareas claras, encontrar vacíos en los requisitos, escribir la mínima cantidad de código y entender la base de código. Más que un "ingeniero de software de IA", lo que se necesita es un "encargado de relaciones humanas para la IA".
• La demo es impresionante, pero su alcance es limitado, así que me pregunto qué tan bien funcionará en situaciones reales. También me pregunto si puede hacer arquitectura de software, si la solución no es más que una reproducción, y con qué frecuencia no basta con que una solución sea correcta solo en un 90%.
• Como alguien con experiencia en desarrollo backend, los LLM ofrecen un aumento de productividad sorprendente para generar código cuando conoces bien las bibliotecas, frameworks y el lenguaje base. Pero igual necesitas saberlo todo; la IA no puede hacer automáticamente todo por ti.
• La demo es impresionante y felicidades por el lanzamiento, pero me pregunto si los bugs que enfrenta Devin pueden resolverse con simples arreglos. Por ejemplo, envolver el código en try-catch para resolver un KeyError hace que el código se ejecute, pero no siempre es la solución ideal.
• Los LLM siguen estando en la etapa de "hacer rimas". No está claro si podrán pasar al "razonamiento", pero programar requiere razonamiento sobre problemas complejos. Dada la velocidad del cambio, no descarto ninguna posibilidad.
• Como alguien que trabaja en este campo, el uso de IA en programación actualmente está al nivel de una herramienta auxiliar y de autocompletado avanzado. Empresas como Pythagora consideran que la intervención humana es importante, y se puede pensar en los LLM como un desarrollador junior entusiasta que actúa rápido siguiendo instrucciones. Con prompts internos y un poco de guía humana, pueden producir resultados sorprendentes.