tiktoken - El tokenizer de OpenAI

• Un tokenizer BPE (Byte pair encoding) rápido para usar con los modelos de OpenAI
• Es de 3 a 6 veces más rápido que los tokenizers existentes (Huggingface)
• Se puede instalar desde PyPI
• Open source en Python + Rust