Show HN: Countless.dev – el sitio web para comparar todos los modelos de IA: LLMs, TTSs, STTs

Introducción a la comparación de modelos de IA

• Comparación de modelos de IA: proyecto de código abierto que permite comparar fácilmente diversos modelos de IA. Se ofrece de forma gratuita y permite comparar la longitud de entrada y salida, los precios y más de cada modelo.

Comparación de precios

• Precios por modelo: se incluyen modelos de varios proveedores como OpenAI, Azure, Anthropic y Google, y se especifican los precios según la longitud de entrada y salida de cada modelo.

Comparación de funciones de los modelos

• Funciones compatibles: entre las funciones que admiten los modelos se incluyen Vision, Chat, Embedding, Image generation, Completion, Audio transcription y TTS.

Modelos principales y precios

• OpenAI: hay varios modelos como gpt-4, gpt-3.5-turbo y otros, con distintas longitudes de entrada y salida y diferentes precios.
• Azure: hay varios modelos como gpt-4o, gpt-4-turbo y otros, y algunos admiten la función Vision.
• Anthropic: están los modelos de la serie Claude, que admiten distintas longitudes de entrada y salida.
• Google: hay varios modelos como Gemini, Chat-bison y otros, y algunos admiten la función Vision.

Aspectos a considerar al elegir un modelo

• Precio: hay que considerar el precio según la longitud de entrada y salida del modelo.
• Compatibilidad de funciones: se debe elegir un modelo que admita las funciones necesarias.
• Proveedor: se puede elegir entre distintos proveedores como OpenAI, Azure, Anthropic y Google.

[GN⁺]

Opiniones de Hacker News

• Se pregunta si se inspiraron en una herramienta de comparación de LLM. La tabla es muy similar, pero le gusta que hayan agregado una calculadora personalizable

  • Cree que sería bueno agregar una casilla en Versus Comparison para resaltar los campos más destacados de cada LLM

• Le gusta la idea de comparar modelos. Se pregunta si hay planes de agregar análisis independientes o si es solo un agregado de límites de entrada

  • Pregunta qué opinión tienen sobre cómo se diferencia o qué agrega frente a otros análisis
  • El sitio web es fácil de explorar

• Quiere una buena relación calidad-precio. Quiere saber cuál es el modelo más barato que pueda generar datos estructurados de forma confiable a partir de texto no estructurado

  • Está usando gpt4o-mini, pero se pregunta si hay una alternativa más barata

• Pregunta si existe una aplicación de escritorio mejor que el cliente predeterminado de ChatGPT

  • Prefiere compatibilidad con macOS/Linux

• Le gusta la UI y el diseño de la tabla. Se pregunta si han considerado mostrar los requisitos de VRAM de los modelos

• Google afirma que Gemini tiene una ventana de contexto más de 10 veces mayor que la de la mayoría de sus competidores

  • Se pregunta si alguien ha probado si eso realmente es útil
  • En sus experimentos, tiende a perder el hilo después de unas 10 interacciones
  • Se pregunta si Gemini realmente funciona de manera diferente o si es puro marketing exagerado

• Solo hay dos modelos de transcripción de audio. Se pregunta si no existen modelos de transcripción de código abierto o si el dataset es pequeño

• Recomienda llmprices.dev. Se actualiza automáticamente cada 24 horas con la información más reciente

• Los logs generados durante el build, los resultados de pruebas, las métricas, etc., pueden ser parte de la salida del build

  • A veces "despliegue" significa actualizar cadenas de versión y referencias de imágenes en otro repositorio
  • Se necesitan claves SSH, pero prefiere manejar eso manualmente

• Le da muchos elogios al ver que este proyecto fue hecho para un hackathon