Llama 4 es el modelo open source más amigable con el coreano.

Según el equipo de investigación de Sionic AI, Llama 4, presentado por Meta el domingo pasado, es el modelo open source más amigable con el coreano.

Se puede ver que la configuración del tokenizador de llama4, desde la perspectiva de la representación del coreano, mejoró 2.5 veces frente a Llama3.3 y también mejoró de forma significativa incluso frente a Qwen, que hasta ahora tenía la mayor proporción de soporte para coreano.

Comprender estos tokens BPE en coreano puede ayudar directamente y de forma importante a la implementación en diversos dispositivos (NPU, GPU, FPGA) y a estrategias de generación de tokens de bajo nivel y alto rendimiento. En particular, puede resolver problemas como la generación de idiomas extraños, por ejemplo chino.

Sionic Llama4 Token Editor es una herramienta que analiza los tokenizadores de modelos de las familias Llama y Qwen, y permite ajustar los pesos de tokens de categorías específicas.

• Clasificación de tokens: realiza un análisis exhaustivo y clasifica tokens de diversas categorías como coreano, inglés y caracteres especiales.
• Ajuste de pesos: con base en la lista de tokens analizados, permite aumentar o disminuir la log-probabilidad de los tokens en coreano, lo que puede influir directamente en los resultados generados por el modelo.
• Salida en JSON y texto: guarda el resultado completo del análisis en un archivo JSON y además genera por separado archivos de texto con la lista de IDs de tokens clasificados y la lista de IDs de tokens no clasificados.

El repositorio de GitHub puede consultarse aquí.
https://github.com/sionic-ai/Llama4-Token-Editor