llama-tokenizer-js - Tokenizador de LLaMA que se ejecuta en el navegador

• Se puede usar para calcular tokens con precisión del lado del cliente
• Fácil de usar como un solo archivo sin ninguna dependencia
• Compatible con la mayoría de los modelos basados en LLaMA
• Puede tokenizar alrededor de 2 mil tokens en menos de 20 ms