Mistral AI lanza Forge

• Forge es un sistema que permite a las empresas construir sus propios modelos de IA basados en conocimiento interno, compensando las limitaciones de los modelos existentes centrados en datos públicos
• Entrena modelos especializados por dominio usando documentos internos, bases de código, datos operativos y más, con soporte para las etapas de preentrenamiento, postentrenamiento y aprendizaje por refuerzo
• Permite mantener el control sobre los modelos, los datos y el conocimiento, así como la protección de la propiedad intelectual, por lo que puede usarse también en industrias reguladas
• Con modelos personalizados, los agentes empresariales pueden comprender sistemas y políticas internas, y ejecutar con precisión el uso de herramientas y la toma de decisiones
• Admite distintas arquitecturas y aprendizaje por refuerzo continuo, aumentando la autonomía estratégica de la IA empresarial y su potencial de mejora a largo plazo

---

Resumen de Forge

• Forge es un sistema que permite a las empresas construir modelos de IA de nivel frontier basados en su conocimiento y datos propios
  • Mientras que los modelos tradicionales basados en datos públicos están optimizados para tareas generales, Forge refleja el contexto único de cada organización, como estándares internos, políticas, código y registros de decisiones
  • Esto ayuda a que la IA opere de acuerdo con el entorno operativo y los flujos de trabajo de la empresa
• Mistral AI ya está aplicando esta tecnología en colaboración con ASML, Ericsson, European Space Agency y HTX Singapore, entre otros

Entrenamiento de modelos basados en conocimiento institucional

• Forge entrena modelos con grandes volúmenes de datos internos, como documentos, bases de código, datos estructurados y registros operativos
  • Los modelos aprenden la terminología, los patrones de razonamiento y las restricciones de ese entorno
• El proceso de entrenamiento se compone de tres etapas
  • Preentrenamiento (pre-training): construcción de un modelo con comprensión del dominio usando datos internos
  • Postentrenamiento (post-training): ajuste fino del modelo para tareas y entornos específicos
  • Aprendizaje por refuerzo (reinforcement learning): alineación del comportamiento del modelo con políticas internas y criterios de evaluación, mejorando su desempeño en entornos reales
• Esto permite desarrollar modelos que reflejan la inteligencia organizacional

Control y autonomía estratégica

• Forge está diseñado para que las empresas mantengan el control sobre los modelos y los datos
  • Los modelos se entrenan con datos internos y pueden gestionarse según políticas, criterios de evaluación y requisitos operativos propios
• Puede cumplir con requisitos de cumplimiento normativo y gobernanza en entornos regulados
• Al ejecutar los modelos dentro de la propia infraestructura, permite asegurar autonomía estratégica

Modelos personalizados y agentes confiables

• Los agentes empresariales no solo necesitan generar respuestas, sino también navegar sistemas internos, usar herramientas y tomar decisiones basadas en políticas
• Los agentes basados en modelos entrenados por dominio comprenden la terminología y los procedimientos internos, y entienden las relaciones entre sistemas
  • Mejoran la precisión al elegir herramientas, refuerzan la estabilidad de flujos de trabajo de múltiples pasos y permiten decisiones alineadas con políticas internas
• Como resultado, es posible implementar agentes de IA como componentes operativos

Soporte para diversas arquitecturas de modelos

• Forge admite tanto arquitecturas Dense como Mixture-of-Experts(MoE)
  • Los modelos Dense destacan en tareas generales, mientras que MoE permite operar modelos a gran escala con baja latencia y eficiencia de costos
• También admite entradas multimodales, lo que permite entrenar con distintos formatos de datos como texto e imágenes

Diseño centrado en agentes

• Forge está diseñado con los agentes de código como usuarios principales
  • Ejemplo: agentes autónomos como Mistral Vibe pueden encargarse del ajuste fino del modelo, exploración de hiperparámetros, programación de tareas y generación de datos sintéticos
  • Forge evita la degradación del rendimiento mediante el monitoreo de métricas de evaluación durante el entrenamiento
  • Incluye gestión de infraestructura y recetas de canalización de datos, lo que permite la personalización del modelo solo con instrucciones en lenguaje natural

Mejora continua y evaluación

• Forge admite aprendizaje adaptativo continuo
  • A través de una canalización de aprendizaje por refuerzo, mejora el comportamiento del modelo con retroalimentación interna
  • Su marco de evaluación permite probar benchmarks internos, reglas regulatorias y tareas específicas de cada dominio
• En consecuencia, permite un ciclo de vida del modelo de mejora continua, en lugar de un despliegue estático

Casos de uso empresariales

• Organismos gubernamentales: análisis de políticas y soporte a servicios públicos mediante aprendizaje de documentos normativos multilingües y procedimientos administrativos
• Instituciones financieras: consistencia en la gobernanza interna mediante aprendizaje de documentos regulatorios y procedimientos de riesgo
• Equipos de software: mejora de la productividad en implementación, depuración y revisión al aprender de bases de código internas
• Fabricantes: soporte al diagnóstico y la toma de decisiones mediante aprendizaje de especificaciones de diseño y datos de mantenimiento
• Grandes empresas: soporte de flujos de trabajo complejos y mejora en la precisión de búsqueda de información con agentes basados en sistemas internos de conocimiento

Conclusión: transición hacia una infraestructura de IA centrada en la empresa

• A medida que los modelos de IA se convierten en una capa central de la infraestructura empresarial, crece la importancia de modelar el conocimiento organizacional
• Forge ofrece la base para que las empresas construyan modelos que puedan entrenar, alinear y evaluar con sus propios datos, y convertirlos en un activo estratégico
• Con ello, la IA puede pasar de ser una herramienta externa a una capacidad central que evoluciona junto con el conocimiento de la organización

[GN⁺]

Comentarios en Hacker News

• Me gusta Mistral. El equilibrio entre costo y almacenamiento de datos dentro de la UE es perfecto. Casi no hay pérdida de calidad.
  Pero su sistema de nombres de modelos es demasiado confuso. Por ejemplo, hay un modelo llamado Devstral 2, pero no es Codestral ni Devestral.
  En la API hay varios nombres: devstral-2512, devstral-latest, devstral-medium-latest, etc.
  Pensé que devstral-latest sería el correcto, así que le pregunté al soporte, y 12 horas después me enviaron una guía de configuración de IntelliJ generada por IA diciendo “devstral 2 es devstral 2”.
  El problema es que la pantalla que aparece en esa guía ni siquiera existe

  • A mí también me pasó que me perdí por completo en su sitio. En cambio, si ves la documentación oficial,
    devstral-2512, devstral-latest y devstral-medium-latest son todos devstral 2.
    labs-devstral-small-2512 y devstral-small-latest son devstral small 2,
    devstral-medium-2507 es devstral 1.0, y devstral-small-2507 es devstral small 1.1
  • Tuve exactamente la misma experiencia. Sobre todo, el proceso de generación de API keys estaba separado por producto, y eso lo hacía todavía más confuso
  • Mi impresión es que esta empresa se mueve más con un enfoque B2B que pensando en desarrolladores individuales.
    Parece que van en la dirección de ofrecer workflows personalizados para cada empresa.
    O quizá sea un problema de falta de comunicación entre departamentos, como en Google
  • Creo que “almacenamiento de datos dentro de la UE” es la razón por la que Mistral recibe apoyo.
    La calidad del modelo es baja, pero dentro de Europa eso es lo mejor que hay.
    Claro, también se podrían correr modelos chinos en servidores europeos

• No hay que subestimar a Mistral. Como LLM general ofrecido como servicio es bastante barato,
  y creo que su estrategia de enfocarse en modelado personalizado en vez de modelos gigantes va a terminar rindiendo frutos.
  Especialmente puede tener ventaja en el entorno regulatorio de la UE.
  El mundo no se reduce a generación de código

  • Pienso lo mismo. Si una empresa quiere adoptar IA para automatizar, este enfoque es óptimo.
    Pero también es una estrategia con barreras de entrada bajas, así que se puede copiar fácilmente.
    Si logran reunir muchos modelos preentrenados para productos como ERP, CRM, etc.,
    y luego vender modelos posteriores que reflejen los datos de personalización de cada cliente, eso sí sería un verdadero moat.
    La clave es cerrar contratos en silencio
  • Pero si la esencia de los LLM son los modelos gigantes,
    me cuesta ver cómo el modelado personalizado podría reemplazar todo ese conocimiento masivo
  • Yo mismo entrené modelos pequeños especializados en su plataforma.
    Solo subes el dataset y enseguida puedes usar el modelo desde un endpoint.
    Tiene limitaciones, pero aumenta mucho la accesibilidad
  • Incluso para programación, Vibe está más especializado en “refactorizar funciones” que en “escribir una app completa”.
    También funciona en local, así que el desarrollador mantiene el control
  • Sinceramente, fuera de la razón de “ser europea”, casi no hay motivos para elegir Mistral.
    La calidad de sus modelos está entre las más bajas dentro de los LLM

• Tenía curiosidad por el significado de “pre-training” y “post-training”.
  En la práctica no parece que haya suficientes datasets limpios,
  así que no queda claro si lo que llaman pre-training es realmente entrenamiento de modelo base o si es SFT (ajuste fino supervisado).
  Quizá estén generando datos sintéticos a partir de datos internos para hacer destilación de conocimiento de baja resolución

  • El pre-training consiste en exponer un modelo existente a más texto crudo (PDF, etc.).
    Como el objetivo sigue siendo predecir el siguiente token, se le llama “continued pre-training”.
    El post-training incluye todos los procesos basados en feedback humano como SFT, DPO, RL, etc.
  • Probablemente, como término de marketing, están distinguiendo entre full fine-tuning y PEFT/LoRA
  • Mi suposición es que pre-training significa ajustar los pesos del modelo existente con más datos,
    mientras que post-training sería agregar datos al prompt, como en RAG
  • Al final, parece que se refieren a “continued pretraining”
  • Suena a una forma de distinguir entre ajustar finamente un modelo base con SFT y ajustarlo con DPO o SFT basado en comportamiento

• Por la descripción de Forge, parece que entrenan modelos con documentación interna o codebases de las empresas
  para internalizar conocimiento del dominio.
  Pero en mi opinión, para adquirir conocimiento RAG es más efectivo que el fine-tuning.
  El fine-tuning sirve para cambiar el “tono” del modelo, pero es difícil usarlo para inyectarle conocimiento nuevo

• Yo apoyo el enfoque de Mistral.
  En vez de competir en la carrera de modelos gigantes, es inteligente enfocarse en ingeniería personalizada para clientes y en el mercado de la UE

  • Cuando se trata de conversar sobre temas filosóficos, Mistral es el mejor.
    Otros modelos se preocupan demasiado por el nivel de comprensión del lector,
    pero Mistral sigue muy bien discusiones profundas y técnicas
  • Su modelo OCR es realmente de otro nivel
  • También ofrecen soporte para despliegue local
  • ¡Vamos, Mistral!
  • Siento que después de .ai vendrá la era de .eu. También tengo curiosidad por el dominio ai.eu

• Últimamente Mistral está haciendo muchas cosas realmente interesantes.
  Le va a costar competir con OpenAI o Anthropic,
  pero destaca la originalidad de su diseño de producto.
  Personalmente, hasta me gustaría trabajar en esa empresa

• Mistral ha estado lanzando muchas funciones geniales últimamente.
  No está en la primera línea de modelos, pero considerando lo difícil que es para empresas pequeñas entrenar sus propios modelos,
  este tipo de herramientas representa una gran oportunidad.
  Sobre todo junto con herramientas como unsloth, el entrenamiento se siente mucho más realista

• Me pregunto cuántos casos de uso empresariales realmente necesitan fine-tuning.
  ¿No bastaría simplemente con RAG?

  • Si especializas y entrenas modelos pequeños de manera rápida y barata,
    puedes reducir las llamadas a LLM por red en tareas como análisis de logs, uso de herramientas o incorporación de conocimiento del dominio
  • RAG simplemente busca documentos para encontrar la respuesta.
    En cambio, el fine-tuning mejora la capacidad de razonamiento del propio modelo
  • RAG ya se acabó

• Es interesante lo que este enfoque sugiere sobre la estructura de ingresos en IA.
  No parece que la cantidad de GPUs vaya a ser la barrera de entrada.
  Más bien, los datos especializados y propietarios serán el verdadero moat.
  Los datos internos de una empresa contienen conocimiento irremplazable.
  Mistral está apostando justamente por eso

  • Los humanos aprendemos con muchos menos datos que todo internet,
    pero en cierto sentido también podría decirse que fuimos entrenados con 3.500 millones de años de datos evolutivos

• Es la forma más inteligente de ganar dinero con IA.
  MongoDB también está entrando al mercado de consultoría para RAG empresarial y modelos personalizados
  a través de VoyageAI