11 puntos por GN⁺ 2024-06-24 | 2 comentarios | Compartir por WhatsApp
  • Llama.ttf es un archivo de fuente y, al mismo tiempo, un modelo de lenguaje grande (LLM) con su motor de inferencia
  • Harfbuzz, el motor de shaping tipográfico usado en Firefox/Chrome, permite “dar forma” al texto con código arbitrario mediante Wasm shaper
    • Ese código “arbitrario” puede ser todo un motor de inferencia de LLM, incluidos los parámetros entrenados, por ejemplo para inicializar el LLM y usarlo en generación de texto
    • Aquí se usó un LLM llamado Llama, de ahí el nombre llama.ttf
  • En otras palabras, es posible ejecutar un LLM y generar texto usando esta fuente en aplicaciones basadas en Harfbuzz con Wasm habilitado
    • No hace falta esperar a que el proveedor implemente funciones tipo “Copilot”; todo corre localmente
    • Incluso puedes chatear con la fuente usando esta tipografía
  • Cómo usarlo:
    • Descarga el archivo llama.ttf y úsalo como cualquier otra fuente
    • Compila Harfbuzz con Dwasm=enabled, compila wasm-micro-runtime, agrega la biblioteca compartida resultante a la variable de entorno LD_PRELOAD y luego ejecuta una aplicación basada en Harfbuzz como gedit o GIMP
  • También se presentan otros experimentos curiosos con fuentes y LLM

Opinión de GN⁺

  • llama.ttf es un enfoque innovador para ejecutar un LLM a través de un archivo de fuente.
  • Como se ejecuta localmente, ofrece ventajas en privacidad y rendimiento.
  • Requiere entender Harfbuzz y Wasm, así que puede resultar algo difícil para ingenieros principiantes.

2 comentarios

 
qyurila 2024-06-25

En el cuerpo, debajo del subtítulo "Why?", no hay nada escrito 🤣

 
GN⁺ 2024-06-24
Comentarios de Hacker News
  • Una opinión dice que sería bueno tener contenido extraño y divertido como programa semanal de TV.
  • Presentación de un proyecto que, como si hubiera convertido Tetris en una fuente, pone un LLM y un motor de razonamiento dentro de una fuente para poder conversar o escribir con ella.
  • Señalan que el proyecto es genial, pero mencionan el tamaño del archivo TTF de 280 GB y problemas de compatibilidad con otras fuentes.
  • Comparten un enlace a un sitio web con juegos integrados en fuentes.
  • Explican que el motor Harfbuzz ofrece una función para “dar forma” al texto usando un shaper de Wasm.
  • Aviso de que el trabajo fue guardado en el archivo y agradecimiento.
  • Una opinión espera que se pueda hacer una demo fácilmente compilando Harfbuzz y wasm-micro-runtime y agregándolos a la variable de entorno LD_PRELOAD.
  • Asombro por no haber imaginado un futuro en el que los PDF pudieran conversar.
  • Una opinión dice que es lo más genial que ha visto esta semana.
  • Preguntan por qué la fuente siempre genera la misma cadena y si el LLM no debería generar nuevo “razonamiento”.
  • Una opinión se pregunta si sería posible que la fuente generara estilos de texto automáticamente.