Para empezar
- Cuando el resultado de codificación de la IA no te convence, en lugar de gastar tokens a ciegas, es mucho más efectivo seleccionar solo la información realmente necesaria para tu intención y dársela como contexto.
- Aunque la ventana de contexto del modelo sea más grande, demasiada información en realidad dificulta que la IA encuentre y entienda la parte que quieres.
- Presento 4 técnicas que uso para obtener resultados más satisfactorios de un agente de codificación en una base de código legacy. No dependen demasiado del rendimiento del modelo y son métodos prácticos que pueden ahorrar tiempo y dinero desde ahora mismo.
1. Explorar y entender antes de implementar
- Antes de resolver el problema o modificar el código, conviene invertir tiempo en aumentar la comprensión del dominio y de la base de código.
- Esto permite usar términos técnicos más precisos y hacer que la IA apunte con exactitud al referenciar los archivos correctos.
- En esta etapa, es mejor evitar modificar código y concentrarse en hacerle preguntas a la IA para acumular conocimiento.
2. Mostrarle código para imitar
- Como los LLM tienden a converger hacia el promedio, hay que dar buenos ejemplos de código para elevar el nivel del resultado.
- En lugar de explicar largamente por escrito las convenciones de código, es mucho más efectivo mostrar un buen ejemplo y decirle “hazlo como esta función”.
- Sobre todo al migrar un patrón específico, si primero conviertes correctamente unos pocos casos y luego se los muestras a la IA como ejemplo, procesa muy bien el resto.
3. Poner scripts en sus manos como herramientas
- Si le das a la IA herramientas de análisis estático, puedes compensar los problemas derivados del bajo piso de los LLM y mejorar la calidad del resultado.
- Y si conviertes en scripts tareas propensas a errores repetitivos, como uno para encontrar claves de i18n, y haces que la IA los use, puedes prevenir esos problemas con seguridad.
- De forma similar, en trabajos de extracción o transformación donde el patrón es claro, es mucho más preciso hacer que la IA escriba un script para realizar esa tarea y luego ejecutarlo, en vez de pedirle que la haga directamente.
4. Corregir el origen del río
- En lugar de ver un resultado incorrecto y pedir que lo corrija, conviene más mejorar desde el principio la “prompt” que causó ese resultado.
- Mejor aún si también mejoras el proceso con el que construyes prompts (por ejemplo, escribir primero código de ejemplo o pruebas).
- Y sería todavía mejor mejorar el cerebro que creó ese proceso. Hay que reflexionar sobre las experiencias de ping-pong innecesario con la IA y desarrollar criterio para decidir cuándo intervenir directamente y cuándo usar la IA.
Para cerrar
- Uno de los principales benchmarks de los agentes es “cuánto tiempo pueden trabajar”, pero en la práctica la mayoría de los usuarios (incluyéndome) todavía no tiene la capacidad de asignarles trabajo hasta el límite del agente.
- Creo que, en la era de la IA, las personas de más alto nivel serán quienes puedan “encontrar tareas adecuadas para delegar a agentes, ponerles las herramientas correctas y hacerlos trabajar durante mucho tiempo con el prompting adecuado”.
- Espero que las técnicas presentadas en este texto ayuden a entrenarse para convertirse en ese tipo de talento.
1 comentarios
¡Coincide con mi experiencia!