Proyecto de AI Agent de Yuanta Securities: crónica (sufrida) del desarrollo de un servicio LLM en producción

1. Introducción: en 2025, el tema central de la industria de IA es el “Agent”, y se enfatiza la necesidad de sistemas más avanzados que superen el enfoque tradicional de chatbots centrado en RAG.

2. Introducción al proyecto (servicio de chatbot de IA de Yuanta): se desarrolló un chatbot que superó altas barreras de entrada, como los requisitos de seguridad financiera, e incorporó funciones de análisis de inversión basadas en IA; fue seleccionado como un servicio financiero innovador.

3. Definición de requisitos y uso de clasificación de intenciones: se ajustaron los requisitos del servicio mediante el análisis de datos reales de consultas de usuarios, y se construyó un sistema de monitoreo basado en Function Calling para la mejora continua del LLM.

4. Técnica de Function Calling: se utilizó Function Calling como método para procesar datos en tiempo real y complementar las limitaciones de RAG, aunque fue necesario superar dificultades relacionadas con la integración de múltiples funciones y la precisión en las llamadas.

5. Ingeniería de prompts y perspectiva operativa: se destaca que, mediante el diseño de prompts y la gestión de versiones, se puede optimizar el rendimiento del LLM, y que las estrategias operativas para reducir costos y reforzar la seguridad son esenciales.

[moderator]

Se movió porque no corresponde a Show GN.
Por favor, publícalo consultando cómo usar Show.