Cómo construir una plataforma de IA generativa

• Esta es la traducción al coreano del artículo de Chip Huyen: “Building A Generative AI Platform”.

• Este artículo describe los componentes comunes típicos de las plataformas de IA generativa que varias compañías están construyendo, sus respectivos roles y cómo se implementan.

• Las plataformas de IA generativa se expanden partiendo de una llamada simple al modelo y avanzando por etapas como el enriquecimiento de contexto, la adición de guardrails, la introducción de un router y gateway de modelos, la aplicación de caché, y la inclusión de lógica y acciones complejas.

• Enriquecimiento de contexto: el modelo accede a fuentes de datos externas y a herramientas de recopilación de información para reforzar el contexto, mejorando así la confiabilidad del modelo y la calidad de las respuestas. También explica el concepto de RAG (Retrieval-Augmented Generation) y cómo integrar fuentes externas mediante búsqueda basada en palabras y búsqueda basada en embeddings.

• Adición de guardrails: aborda cómo añadir guardrails para evitar fugas de información sensible, garantizar la calidad de las respuestas generadas y prevenir respuestas inapropiadas.

• Adición de router de modelos y gateway: describe cómo introducir un router y gateway de modelos para gestionar eficientemente múltiples modelos, enrutar solicitudes al modelo adecuado y reforzar la seguridad.

• Aplicación de caché: explica cómo mejorar la velocidad de respuesta y reducir costos aplicando caché de prompts, caché semántica y técnicas similares para solicitudes repetitivas.

• Adición de lógica y acciones complejas: explica cómo mejorar la funcionalidad y la calidad de las respuestas de la plataforma incorporando lógica de negocio compleja y acciones.

• Visibilidad y orquestación: enfatiza la importancia de monitorear y depurar el funcionamiento del sistema, y de orquestarlo para que todos los componentes operen de forma fluida en conjunto.