- Ollama ahora admite la función de salidas estructuradas (Structured Output), que usa esquemas JSON para restringir la salida del modelo a un formato específico
- Las bibliotecas de Python y JavaScript se actualizaron para permitir el uso de esta función
- Casos de uso principales de las salidas estructuradas
- Parseo de datos desde documentos
- Extracción de datos desde imágenes
- Estructuración de todas las respuestas de los modelos de lenguaje
- Ofrece mayor confiabilidad y consistencia que el modo JSON
- Consejos de uso
- Definir el esquema JSON con Pydantic (Python) o Zod (JavaScript)
- Agregar "devolver en JSON" al prompt
- Bajar la configuración de Temperature a 0 para obtener una salida determinista
- Planes a futuro
- Soporte para controlar la generación mediante exposición de logits
- Mejoras de rendimiento y precisión
- Soporte para formatos adicionales además de JSON Schema
- Soporte para muestreo acelerado por GPU
1 comentarios
Antes había que incluir el esquema JSON como parte del prompt y en el parámetro de la API solo se usaba
format: json, pero ahora se pueden ahorrar tokens y configurarlo de forma más cómoda.