Cómo Databricks creó su propio benchmark de IA para programación y qué resultados obtuvo

• El problema de los benchmarks de programación públicos es que no se ajustan exactamente al contexto de cada empresa y además se les puede hacer trampa
  • En Databricks crearon un benchmark para evaluar usando tareas y lenguajes reales que ellos mismos ejecutaron
• GLM 5.2 resolvió incluso las tareas más difíciles a un nivel comparable con Opus 4.8, pero con un precio equivalente al 66% del de Opus
• Sonnet 5 es 1.7 veces más barato que Opus 4.8, pero como usa 1.9 veces más tokens para completar el trabajo real, resulta ineficiente
• Incluso usando el mismo modelo, según el harness se puede ahorrar mucho en costo y tiempo de ejecución