Lanzamiento de Llama Stack 0.21: compatibilidad con Llama 4

• Llama Stack de Meta es un framework que estandariza los componentes clave para aplicaciones de IA generativa
• Proporciona una capa de API unificada basada en implementaciones de distintos proveedores de servicios
• Garantiza la consistencia en la experiencia del desarrollador al pasar del entorno de desarrollo al de producción
• Componentes principales:
  • API unificadas para inferencia, RAG, agentes, herramientas, seguridad (Safety), evaluación (Evals) y telemetría (Telemetry)
  • Soporte para distintos entornos (local, on-premise, nube, móvil) mediante una arquitectura de plugins
  • Permite comenzar de forma rápida y estable mediante distribuciones validadas (distribution)
  • Ofrece varias interfaces para desarrolladores, como CLI y SDK (Python, Node.js, iOS, Android)
  • Incluye ejemplos de aplicaciones listas para producción

Cómo funciona Llama Stack

• Llama Stack está compuesto por servidor + SDK de cliente
  • El servidor puede desplegarse en distintos entornos, como local, on-premise y nube
  • Los SDK de cliente son compatibles con Python, Swift, Node.js, Kotlin y más

Lista de SDK de cliente

• Python: llama-stack-client-python
• Swift: llama-stack-client-swift
• Node.js: llama-stack-client-node
• Kotlin: llama-stack-client-kotlin

Implementaciones compatibles con Llama Stack

Inference API

• Compatible con proveedores de inferencia en diversos entornos de hosting y locales
  • Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini y más

Vector IO API

• Proporciona una interfaz para almacenes vectoriales
• Implementaciones compatibles:
  • FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate y más

Safety API

• Garantiza la seguridad de las respuestas de IA, incluyendo revisión de prompts y código
• Implementaciones compatibles:
  • Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock y más

Recursos para desarrolladores

• Si quieres empezar rápido: Quick Start
• Si quieres contribuir: Contributing

Llama Stack es un framework de propósito general diseñado para que los desarrolladores puedan integrar y desplegar fácilmente distintas tecnologías de IA, con amplio soporte para diversos entornos y lenguajes.