Tokuin - herramienta CLI en Rust para estimar el uso de tokens de LLM y el costo de API

• Herramienta CLI multiplataforma para estimar con rapidez y precisión el número de tokens y el costo de API en múltiples proveedores/modelos de LLM como OpenAI, Claude, Gemini y OpenRouter
• Soporta el cálculo de tokens por modelo y calcula automáticamente el costo de las llamadas a la API según el precio por token de cada modelo
• Además de prompts individuales, ofrece funciones pensadas para flujos de trabajo reales como formato de chat en JSON, desglose de tokens por rol (system/user/assistant), comparación de tokens y costos entre varios modelos, minify de Markdown, modo diff y modo watch
• Al activar la función load-test, funciona como un runner de pruebas de carga que mide de una sola vez concurrencia, latencia, tasa de errores, tokens y costo para OpenAI, Anthropic, OpenRouter y endpoints personalizados
  • Con el modo dry-run es posible predecir costos sin realizar llamadas reales
• Soporta varios formatos de entrada y salida
  • Entrada: puede procesar tanto texto plano como formato de chat JSON, y ofrece entrada desde archivos, entrada estándar y comparación de prompts (diff)
  • Salida: admite varios formatos como text/json/csv/Prometheus/markdown
• Mediante un archivo de precios personalizado (TOML), puede mantener la precisión en la estimación de costos aun cuando cambien los precios por modelo
• Su estructura modular para tokenizadores, definiciones de modelos, parser, salida, HTTP/proveedores y simulador la hace adecuada para agregar nuevos modelos o proveedores e integrarse en pipelines de CI/automatización