- AICI - Artificial Intelligence Controller Interface
- Permite crear controladores que restrinjan y dirijan en tiempo real la salida de los modelos de lenguaje grandes (LLM)
- Los controladores pueden realizar decodificación restringida, edición dinámica de prompts y del texto generado, y coordinación entre generaciones en paralelo
- Los controladores integran lógica personalizada durante la decodificación token por token y mantienen estado durante las solicitudes al LLM
- El objetivo de AICI es facilitar la creación y experimentación con estrategias de control existentes y nuevas
- Al abstraer los detalles de implementación de los motores base de inferencia y serving de LLM
- busca simplificar el desarrollo de controladores,
- facilitar la escritura de controladores rápidos, y
- hacer más sencilla la compatibilidad entre motores de inferencia y serving de LLM
- AICI está diseñado (eventualmente) para ejecución local y en la nube, incluidas implementaciones LLM multitenant
- Los controladores se implementan como módulos ligeros de WebAssembly (Wasm) que se ejecutan en el mismo sistema que el motor de inferencia LLM, aprovechando la CPU mientras la GPU está ocupada generando tokens
- AICI es una capa dentro del stack de inferencia, diseñada para que librerías de control como Guidance, LMQL y otras se ejecuten sobre ella y obtengan portabilidad, eficiencia y mejoras de rendimiento en distintos motores de inferencia y servicio de LLM
- AICI es
- Flexible: los controladores pueden escribirse en cualquier lenguaje que compile a Wasm (Rust, C, C++, ...) o interpretarse dentro de Wasm (Python, JavaScript, ...)
- Seguro: los controladores están aislados en sandbox y no pueden acceder al sistema de archivos, la red ni otros recursos
- Rápido: los módulos Wasm se compilan a código nativo y se ejecutan en paralelo con el motor de inferencia LLM, generando una sobrecarga mínima en el proceso de generación
- Prototipo diseñado y construido por Microsoft Research
Aún no hay comentarios.