- Llama.ttf es un archivo de fuente y, al mismo tiempo, un modelo de lenguaje grande (LLM) con su motor de inferencia
- Harfbuzz, el motor de shaping tipográfico usado en Firefox/Chrome, permite “dar forma” al texto con código arbitrario mediante Wasm shaper
- Ese código “arbitrario” puede ser todo un motor de inferencia de LLM, incluidos los parámetros entrenados, por ejemplo para inicializar el LLM y usarlo en generación de texto
- Aquí se usó un LLM llamado Llama, de ahí el nombre llama.ttf
- En otras palabras, es posible ejecutar un LLM y generar texto usando esta fuente en aplicaciones basadas en Harfbuzz con Wasm habilitado
- No hace falta esperar a que el proveedor implemente funciones tipo “Copilot”; todo corre localmente
- Incluso puedes chatear con la fuente usando esta tipografía
- Cómo usarlo:
- Descarga el archivo
llama.ttf y úsalo como cualquier otra fuente
- Compila Harfbuzz con
Dwasm=enabled, compila wasm-micro-runtime, agrega la biblioteca compartida resultante a la variable de entorno LD_PRELOAD y luego ejecuta una aplicación basada en Harfbuzz como gedit o GIMP
- También se presentan otros experimentos curiosos con fuentes y LLM
Opinión de GN⁺
- llama.ttf es un enfoque innovador para ejecutar un LLM a través de un archivo de fuente.
- Como se ejecuta localmente, ofrece ventajas en privacidad y rendimiento.
- Requiere entender Harfbuzz y Wasm, así que puede resultar algo difícil para ingenieros principiantes.
2 comentarios
En el cuerpo, debajo del subtítulo "Why?", no hay nada escrito 🤣
Comentarios de Hacker News
LD_PRELOAD.