- Purple Llama es un proyecto paraguas (umbrella) de ecosistema open source de confianza y seguridad en IA impulsado por Meta, cuyo objetivo es reunir y desarrollar junto con la comunidad diversas herramientas de seguridad, guías, herramientas de evaluación (Eval) y benchmarks necesarias para el desarrollo de IA generativa (LLM)
- LlamaFirewall es un componente clave del proyecto Purple Llama: un framework que detecta y bloquea en tiempo real diversas amenazas de seguridad que pueden surgir en la IA generativa (especialmente en chatbots/agentes basados en LLM), como prompt injection, misalignment y vulnerabilidades de código, mediante una arquitectura de escáneres multicapa
- Junto con varias herramientas de seguridad/confiabilidad de Purple Llama como Llama Guard, Prompt Guard, Code Shield y CyberSec Eval, implementa una capa integral de seguridad de IA a nivel sistema
- Llama Guard: modelo basado en Llama 3 para detectar y bloquear contenido dañino en entradas y salidas. Puede incluirse en las políticas de LlamaFirewall para aplicarse automáticamente en todas las etapas de entrada/salida
- Prompt Guard: especializado en detectar ataques de prompt injection/jailbreak; se integra dentro de LlamaFirewall como
PromptGuardScanner
- Code Shield: detección en tiempo real de vulnerabilidades y código malicioso en código generado por LLM; se integra dentro de LlamaFirewall como
CodeShieldScanner
- CyberSec Eval: herramienta de benchmark de ciberseguridad para LLM de Purple Llama. Se usa para probar la resiliencia y vulnerabilidades reales de seguridad de modelos basados en LlamaFirewall
- Se caracteriza por su baja latencia/alto rendimiento, aplicación en tiempo real, open source transparente y gran extensibilidad
- Permite que equipos de seguridad y desarrolladores de IA apliquen rápidamente la construcción de guardrails seguros para chatbots, agentes y sistemas de IA multistep basados en LLM
Aún no hay comentarios.