Gemini 2.5 Pro es un modelo con rendimiento SOTA en programación

• Gemini 2.5 Pro, lanzado por Google, recibió menos atención por el llamativo lanzamiento de generación de imágenes de GPT-4o, pero en realidad representa un avance importante
• Su rendimiento para escribir código es sobresaliente, y ofrece la capacidad de procesar bases de código completas con una longitud de contexto de hasta 1 millón de tokens
• La retroalimentación de los usuarios también es muy positiva, y muestra resultados excelentes en pruebas reales de programación
• En cambio, en problemas complejos de razonamiento queda por debajo de Grok 3 y Claude 3.7 Sonnet

Principales mejoras

• Gemini 2.5 Pro mejoró su rendimiento a partir de la arquitectura base de Gemini 2.0 Flash mediante optimización posterior al entrenamiento y ampliación de parámetros
• Soporta una longitud de contexto de hasta 1,000,000, lo que permite obtener buenos resultados incluso al introducir una base de código completa
• Su comprensión multilingüe se fortaleció, al punto de romper récords en el manejo de español en el ranking de LMSYS

Rendimiento en benchmarks

• Logró resultados destacados en benchmarks clave como LMSYS, Livebench, GPQA, AIME y SWEbench verified
• En ARC-AGI se ubica cerca de Deepseek r1 y por debajo de Claude 3.7
• Obtuvo el primer lugar en el benchmark WeirdML, con una capacidad sobresaliente para escribir código PyTorch funcional para problemas extraños de ML
• También lideró el benchmark Aider Polyglot

Casos de uso reales

• Mostró resultados sobresalientes en ejemplos diversos como el problema de Wordle, generación de shaders, simulador de vuelo, cubo de Rubik, juego de zombis y creación de juegos arcade
• En particular, en tareas de generación de juegos ofrece una ejecución pulida y de alto nivel

Gemini 2.5 Pro vs Claude 3.7 vs Grok 3 - comparación de capacidad de programación

1. Rebote de pelotas dentro de un cubo 3D (Three.js)

• Gemini 2.5: el mejor resultado, con movimientos suaves y realistas
• Grok 3: al principio iba bien, pero con el tiempo las pelotas se pegaban y dejaba de funcionar correctamente
• Claude 3.7: la configuración fue excelente, pero las pelotas se detenían y faltaba interacción

2. Juego estilo Minecraft (Pygame)

• Gemini 2.5: jugabilidad fluida y pulida, cumple todos los requisitos
• Claude 3.7: resultado avanzado con efectos visuales y elementos de UI
• Grok 3: funciona en lo básico, pero el movimiento y la colocación no son fluidos

3. Webapp Task Tracker

• Gemini 2.5: UI muy bien lograda y flujo natural
• Claude 3.7: limpio y visualmente atractivo
• Grok 3: cumplió con los requisitos, pero con menor nivel de acabado que los otros modelos

Capacidad de razonamiento complejo

1. Prueba de sesgo cognitivo (el problema del médico y el hijo)

• Claude 3.7 y Grok 3 resolvieron correctamente el problema
• Gemini 2.5 mostró algo de confusión

2. Encontrar la jugada óptima en tic-tac-toe

• Los tres modelos llegaron a la respuesta correcta, pero Grok 3 ofreció el análisis más claro
• Sin embargo, ninguno encontró todos los puntos correctos completos (3 y 5)

3. Problema complejo de parentesco

• Claude 3.7 obtuvo correctamente la respuesta de 12 personas
• Gemini 2.5 y Grok 3 respondieron incorrectamente con 15 personas, aunque su lógica era comprensible

Capacidad matemática

1. Hallar el MCD de una sucesión infinita

• Solo Gemini 2.5 obtuvo la respuesta correcta
• Grok 3 falló

2. Evaluación de una expresión basada en el número de vocales

• Solo Claude 3.7 llegó a la respuesta correcta
• Grok 3 no entendió el contexto
• Gemini 2.5 mostró incertidumbre

Resumen de capacidad matemática

• En problemas de matemáticas puras, Gemini 2.5 Pro es fuerte
• En problemas matemáticos mezclados con razonamiento, Claude 3.7 Sonnet está más equilibrado
• Grok 3 muestra el rendimiento matemático más bajo

Conclusión

• Gemini 2.5 Pro de Google es un modelo sobresaliente especializado en escritura de código, con resultados excelentes también en casos de uso reales
• En razonamiento complejo y problemas que requieren pensamiento queda algo por detrás de los modelos competidores
• Es fuerte en matemáticas, pero su rendimiento baja cuando los problemas incluyen razonamiento lógico
• Tiene grandes ventajas en procesamiento multilingüe y manejo de entradas de gran tamaño

• Rendimiento en programación: muy sobresaliente
• Capacidad de razonamiento: más débil que Claude 3.7 y Grok 3
• Capacidad matemática: excelente en cálculo puro