Construcción de un sLLM especializado en dominio gubernamental — chatbot RAG ajustado con Gemma-3-1B usando datos del Ministerio de Tierra, Infraestructura y Transporte

Construcción de un sLLM especializado en dominio gubernamental — molit-gemma + RAG

Este es un caso de construcción de un chatbot especializado en dominio, on-premise en un entorno de seguridad donde es difícil usar LLM externos como ChatGPT o Claude en instituciones públicas.

TL;DR

• Fine-tuning de Google Gemma-3-1B con documentos de políticas del Ministerio de Tierra, Infraestructura y Transporte → molit-gemma
• Mitigación de alucinaciones con RAG basado en OpenSearch
• BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
• Despliegue completamente on-premise (0 APIs externas)

¿Por qué sLLM?

• Las respuestas a consultas ciudadanas del gobierno generan preocupación por fuga de datos al invocar APIs externas
• Los modelos de clase 70B suponen una carga para la infraestructura GPU → se compensa con un modelo de 1B + RAG
• El fine-tuning especializado por dominio ofrece mejor precisión que un LLM general

Estructura

Consulta del usuario → búsqueda en OpenSearch → documentos de políticas Top-K →
generación de respuesta con molit-gemma → cita de fuentes

Implicaciones

• Presenta una línea base empírica de la combinación sLLM + RAG en el sector público
• Incluso con un modelo de 1B, al limitarse al dominio, se puede alcanzar un nivel práctico
• Mitigación de alucinaciones + aseguramiento de explicabilidad

Enlaces

• Paper (RISS): https://www.riss.kr/link?id=T17378943
• Modelo (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
• Código (GitHub): https://github.com/chohi22/Industrial-AI/…

[jhk0530]

¡Felicitaciones por tu tesis de grado!