El resultado de crear 4 apps iguales con GPT-5.6, Grok 4.5, Claude y Muse Spark

 (tryai.dev)
2 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Tras pedir a 12 modelos que crearan un laberinto raycaster, un cubo de Rubik 3D, una calculadora y Conway’s Game of Life, GPT-5.6 Sol y Claude Fable 5 se repartieron el liderazgo en las tareas complejas
  • Se publicaron 5 intentos por modelo para cada tarea, junto con número de éxitos, costo, tiempo y todos los resultados, pero hay una limitación importante: no es una evaluación científica, sino una comparación subjetiva basada en revisar directamente lo generado
  • En el raycaster, GPT-5.6 Sol logró 5/5, y en el cubo de Rubik, Claude Fable 5 también consiguió 5/5; en cambio, Claude Opus 4.8 y GPT-5.6 Luna se quedaron en 0/5 en el cubo, lo que mostró una gran variación según el modelo y la tarea
  • Los modelos open weight mostraron una brecha frente a los modelos top en tareas complejas o nuevas, pero en Game of Life, donde abunda el código de ejemplo, Qwen 3.7 Plus y GLM-5.2 dieron muy buenos resultados a mucho menor costo
  • Grok 4.5 fue una alternativa barata al nivel de Claude Opus 4.8 en algunas tareas, y Muse Spark 1.1 también rindió mejor en general que los modelos open weight, pero ni el flagship más nuevo ni el más caro ganó automáticamente en todas las pruebas

Método de comparación y 12 modelos

  • Incorporando comentarios sobre la comparación anterior, se amplió la escala a 12 modelos, 4 apps y 5 intentos por tarea
  • Como una sola ejecución no bastaba para evaluar bien, se registraron por separado el número de éxitos y los resultados preferidos por tarea, y se publicaron todos los intentos para poder ver la variación entre corridas
  • Es una comparación subjetiva basada en observar los resultados generados, no un veredicto objetivo ni científico

Laberinto raycaster estilo Doom

  • Se les pidió crear un laberinto en primera persona con movimiento WASD, rotación, sombreado de paredes según profundidad, piso, techo y colisiones
  • El éxito se juzgó no por el acabado visual, sino solo por si realmente se podía caminar y girar dentro del laberinto
  • GPT-5.6 Sol logró 5/5 con un costo de $1.35 y 120 segundos, y fue considerado el mejor resultado por ser más consistente que GPT-5.5 y por su mayor riqueza de detalles del juego
    • GPT-5.6 Luna también consiguió 5/5, con $0.15 y 23 segundos, pero se evaluó que la calidad era inferior a la de GPT-5.5
    • GPT-5.6 Terra obtuvo 3/5, $0.44 y 39 segundos; tenía buenos detalles, pero en algunos resultados no se podía caminar
  • Grok 4.5 fue una alternativa práctica por precio con 5/5, $0.27 y 62 segundos, mientras que GPT-5.5 registró 4/5, $1.44 y 138 segundos
  • La familia Claude rindió por debajo de lo esperado
    • Claude Opus 4.8 fue consistente con 4/5, pero los resultados eran monótonos
    • Claude Fable 5 logró buenos resultados con 3/5, aunque con poca consistencia
  • Entre los modelos open weight, Qwen 3.7 Plus y Kimi K2.6 lograron 2/5 cada uno, y DeepSeek V4 Pro obtuvo 3/5
    • GLM-5.2 renderizó pantallas detalladas, pero el personaje nunca se movió, así que quedó en 0/5
  • Muse Spark 1.1 obtuvo 2/5, pero sus resultados funcionales fueron evaluados como similares a Fable y Sol, e incluso mejores que Grok y Opus, dando una sorpresa

Cubo de Rubik 3D

  • Se pidió crear un cubo 3D con colores y botones Scramble y Solve, mostrando en pantalla las rotaciones con animación
  • Para contar como éxito, tanto la animación de mezclar como la de resolver debían funcionar de forma fluida, sin errores ni cambios de color
  • Claude Fable 5 consiguió 5/5, $2.03 y 92 segundos, y fue el único que resolvió limpiamente los cinco intentos
    • Claude Opus 4.8 se quedó en 0/5 porque todos sus resultados tenían errores pequeños o cambios de color
  • GPT-5.6 Sol y Terra registraron 4/5 cada uno
    • Sol tuvo buena calidad cuando funcionó, pero en algunos casos mostró animaciones extrañas o renderizó todo en negro
    • Terra tuvo problemas raros en la animación de mezcla, aunque fue un poco mejor que GPT-5.5
    • Luna muchas veces parecía correcta al inicio, pero se rompía apenas empezaba la mezcla, así que quedó en 0/5
  • GPT-5.5 obtuvo 4/5, aunque con parpadeo de colores y rotaciones poco fluidas; Grok 4.5 logró 3/5 con resultados simples pero buenos
  • Qwen 3.7 Plus, Kimi K2.6 y DeepSeek V4 Pro obtuvieron 1/5 cada uno, y GLM-5.2 quedó en 0/5
  • Muse Spark 1.1 hizo 2/5, un escalón por encima de los modelos open weight, pero se consideró que por precio había pocas razones para elegirlo sobre Grok
  • Mientras la familia GPT había destacado en el raycaster, aquí rindió peor de lo esperado; en cambio, Claude mostró una vuelta de posiciones según la tarea, impulsada por Fable

Calculadora

  • Se pidió una interfaz con botones de números, operadores, reinicio e igual, prioridad correcta de operadores y una apariencia similar a una calculadora real
  • Se comprobó el orden de operaciones y el renderizado del resultado con cálculos básicos como (((5 × 5) − 100) / 10), sin hacer una prueba funcional exhaustiva
  • Claude Opus 4.8 y Claude Fable 5 lograron ambos 5/5
    • El resultado de Fable fue el más preferido en estilo
  • Grok 4.5 hizo 5/5 con una experiencia simple y consistente, y GPT-5.6 Luna también logró 5/5 con una experiencia parecida a la de Grok
  • GPT-5.6 Sol consiguió 5/5, pero intentó meter demasiado estilo y efectos 3D, afectando una experiencia de calculadora limpia y consistente
    • GPT-5.6 Terra y GPT-5.5 obtuvieron 4/5 cada uno; GPT-5.5 a veces agregaba botones innecesarios o gráficos 3D recortados
  • Muse Spark 1.1 logró 5/5, a un nivel parecido al de Grok 4.5, aunque en algunos resultados el orden y la disposición de los botones se sentían raros
  • Entre los modelos open weight, Qwen 3.7 Plus obtuvo 4/5 con $0.04 y 12 segundos, pero uno de sus resultados no podía manejar números negativos
    • DeepSeek V4 Pro hizo 3/5, con errores en el orden de los números y falta de visualización del resultado
    • GLM-5.2 quedó en 2/5, aunque la calidad de sus resultados exitosos fue buena
    • Kimi K2.6 no pudo manejar negativos, así que quedó en 0/5
  • Los modelos GPT más simples funcionaron bien desde el primer intento sin ajustes adicionales, y una implementación centrada en funcionalidad básica dio mejor experiencia que las versiones recargadas con efectos visuales complejos

Conway’s Game of Life

  • Se pidió implementar una cuadrícula en canvas, Play, Pause, Step, Randomize, Clear, alternar celdas con clic y animación por generaciones
  • En esta tarea no se aplicó un criterio separado de 5 éxitos, y solo se compararon costo, tiempo e impresión general
  • Grok 4.5 dio buenos resultados, y como la tarea es simple y hay bastante código de ejemplo público, los modelos open weight también rindieron muy bien
  • Qwen 3.7 Plus logró buenos resultados por bajo costo con $0.04 y 11 segundos, y GLM-5.2 también lo hizo con $0.10 y 121 segundos, por lo que se evaluó que son adecuados para este tipo de tarea
  • Como los modelos open weight siguieron teniendo dificultades en otras tareas más complejas, es difícil generalizar el resultado de Game of Life como una medida de desempeño global
  • Los otros costos y tiempos principales fueron: Grok 4.5 con $0.14 y 38 segundos, GPT-5.6 Luna con $0.13 y 18 segundos, Terra con $0.36 y 25 segundos, Sol con $0.99 y 62 segundos, y Muse Spark 1.1 con $0.32 y 98 segundos

Velocidad y costo de respuestas cortas

  • En prompts cortos, la familia GPT-5.6 registró el inicio de respuesta más rápido
    • Luna: 1.0 s, 97 tok/s y $0.001
    • Terra: 1.5 s, 62 tok/s y $0.001
    • Sol: 1.8 s, 45 tok/s y $0.003
  • Qwen 3.7 Plus fue muy barato y rápido con 2.1 s, 204 tok/s y $0.001; Grok 4.5 marcó 3.0 s, 112 tok/s y $0.003, y Muse Spark 1.1 llegó a 3.1 s, 125 tok/s y $0.002
  • Claude Opus 4.8 registró 2.5 s, 44 tok/s y $0.004, pero Claude Fable 5 fue más lento y más caro con 6.6 s, 30 tok/s y $0.01
  • DeepSeek V4 Pro tuvo 9.3 s, 37 tok/s y $0.001, y GLM-5.2, 7.0 s, 58 tok/s y $0.001, por lo que tardaron más en empezar a responder
  • Algunos modelos open weight entregaron toda la respuesta de golpe y alcanzaron el límite de 400 tokens, así que el tok/s mostrado no refleja la velocidad real de decodificación, sino un valor tope

Tarea extra de SVG

  • Se les pidió generar un SVG de una sola vez, sin librerías; entre 5 resultados se priorizó primero que el SVG fuera válido y luego se eligió el más detallado
  • En la escena de un caballo cargando a un astronauta, Claude Fable 5 dio buenos resultados tanto en calidad como en humor
    • La familia GPT-5.6 rindió peor de lo esperado, ya que no logró renderizar con limpieza ni al caballo ni al astronauta
    • Grok 4.5 también produjo buenos resultados
  • En una escena más difícil, donde Elon Musk y Jeff Bezos observan un booster de Blue Origin descendiendo a una plataforma sobre el mar, Claude Fable 5 volvió a quedar por delante
    • Incluyó detalles como el brillo en la frente de Bezos y el humo alrededor de la plataforma, con renderizado limpio
    • La familia GPT produjo resultados más caricaturescos y mantuvo pequeños errores en cada generación
    • GLM-5.2 y Qwen 3.7 también dieron buenos resultados en esta tarea de SVG

La elección del modelo cambia según la tarea

  • En tareas complejas y nuevas como el raycaster y el cubo de Rubik, la ventaja de los modelos top fue clara, con GPT-5.6 Sol y Claude Fable 5 mostrando fortalezas distintas
  • En tareas simples y ampliamente implementadas, Qwen 3.7 Plus y GLM-5.2 pueden generar resultados competitivos a un costo mucho menor
  • Grok 4.5 alcanzó en algunas tareas un nivel similar al de Claude Opus 4.8, por lo que puede servir como modelo secundario cuando el costo importa
  • Muse Spark 1.1 quedó un escalón por debajo de Grok 4.5, pero en general por encima de los modelos open weight, aunque todavía no al nivel de ser la primera opción inmediata
  • Según la tarea, cambió el orden entre Sol, Fable, Grok y los modelos open weight baratos, así que ni el flagship más nuevo ni el más caro gana siempre

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Opiniones en Hacker News

  • Expresiones como “un punto para señalar con honestidad” y “no hay errores ni cambios de color” son buenos criterios para distinguirlo. Lo leí hasta el final, pero habría sido mejor si hubiera sido un texto escrito directamente por una persona

    • Siento que en Anthropic escucho la palabra “Honestly” más seguido que de todas las demás personas juntas
    • ¿No se podría meter ese nuevo lenguaje típico de los LLM en otro transformer para eliminar esas frases irritantes? No debería ser difícil y todos ganaríamos

  • Admito que es un texto trabajado y bien hecho, pero al leer párrafos como los siguientes pierdo el interés por todo el artículo
    “Usé una tabla separada para cada pregunta. Esto no es una tarea de build, sino una herramienta estándar de prueba de latencia…”, “Por lo tanto, los tokens por segundo son un límite superior, no la velocidad real de decodificación…”
    ¿De verdad era tan difícil escribir esas dos frases directamente con su propia forma de hablar?

    • No sé de dónde sale este estilo tan característico, y es casi imposible quitarlo, así que molesta muchísimo
    • Es demasiado evidente y desagradable. Debería escribir directamente lo que quiere decir, como una persona normal
      Generar textos con IA no solo es perezoso, también es plano, aburrido y una falta de respeto por el tiempo del lector
    • Para discutirlo: ¿y si esa fuera realmente la forma natural de hablar del autor?
    • Mucho antes de que aparecieran los LLM, yo también escribía así a veces. Ya me tiene harto leer este tipo de acusaciones
    • Desde que apareció la IA, la gente se volvió demasiado sensible. Es como ponerse quisquilloso porque un programador no escribió prosa al gusto de uno

  • Tal vez yo tenga una tendencia demasiado controladora, pero pedirle a un agente que complete una app aleatoria de una sola vez no se parece en nada a cómo se usa la IA en la ingeniería de software real

    • Para un creador independiente, un benchmark one-shot es bastante útil. Se correlaciona en cierta medida con si un modelo de punta mejor —en mi caso, Opus y Fable— toma mejores decisiones incluso en partes no especificadas y ofrece mejores propuestas desde el inicio
    • En la escala temporal de los LLM, los modelos son buenos para crear apps nuevas desde hace bastante tiempo
      También es interesante cómo hacen mejores apps nuevas, pero me interesa mucho más cómo resuelven problemas difíciles en bases de código existentes y complejas
    • Crear una app básica de una sola vez y luego pedir que agregue funciones una por una parece una forma obvia de evaluar la arquitectura y la mantenibilidad
    • No se parece al uso real, pero así es como uno puede volverse famoso en Twitter/X
    • Aunque no sea igual al uso real, es un intento de introducir al menos algún criterio de medición objetivo en esta área, en vez de depender solo de impresiones

  • (LM)Arena cumple básicamente ese rol, y me parece una de las mejores pruebas para evitar optimizar demasiado solo para puntajes de benchmark
    Agentes: https://arena.ai/leaderboard/agent
    Desarrollo web: https://arena.ai/leaderboard/code/webdev
    Actualmente, en desarrollo web, Fable y 5.6 están muy parejos, casi el mismo resultado que en este artículo

    • Si uno se lo propone, también es posible hacer cierta optimización a medida para subir puntajes en Arena. La distribución de prompts allí es bastante distinta del uso real de un desarrollador común, y en particular hay muchos pedidos para crear un juego desde cero de una sola vez
      Si se hace fine-tuning especializado en crear juegos divertidos de una sola vez a partir de prompts insuficientes, el rendimiento de un modelo de código puede parecer mejor que su capacidad para tareas generales. Trabajo en OpenAI, pero nosotros no intentamos inflar los puntajes, porque hacerlo convertiría a Arena en un indicador peor para todos
    • Hay bastante optimización a medida para Arena, especialmente alrededor de Facebook, pero igual estoy de acuerdo en que sigue siendo de los mejores benchmarks reales
      Siempre es divertido pedir que reproduzcan efectos clásicos de la demoscene. La generación de música todavía es pésima, pero Claude al menos parece hacer sintetizadores decentes. Incluso si le das el artículo con explicación de implementación y capturas para reproducir los efectos de fluidos y partículas de Agenda Circling Forth, todavía lo hace mal
    • Me pregunto por qué Grok 4.5 todavía no aparece en la lista. 5.6, que salió después, ya está ahí

  • Este tipo de benchmarks visuales probablemente muestren más conocimiento —qué tan completos son los datos de entrenamiento y qué tan bien el modelo los recupera— que capacidad de razonamiento
    No veo cómo un modelo podría construir, sin bastante información previa, una cadena de pensamiento (CoT) que conecte la geometría y la animación de un cubo con representaciones en el espacio latente

    • ¿Hay evidencia de que los LLM tengan realmente nuevas capacidades de razonamiento? Por más que lo intenté, nunca logré hacer que funcionaran, y creo que aquel paper de Apple de hace un tiempo también era una prueba fuerte de que esa capacidad no existe
      En mi experiencia, cuando el espacio latente es escaso, el razonamiento falla por completo, de forma casi ridícula
    • Es posible que Anthropic tenga ventaja en estas pruebas gracias a los datos que obtuvo de Canva

  • Nosotros también agregamos hoy GPT 5.6 Sol, Terra y Luna a nuestro Model Arena, donde 26 modelos crearon 52 apps cada uno
    https://arena.logic.inc/
    Comparar las apps de los tres modelos lado a lado es muy interesante. Todavía tenemos que agregar estadísticas a la UI, pero el tiempo real transcurrido de Terra fue la mitad que el de Sol, mientras que Luna tardó alrededor de un 23% más que Sol
    Aunque Luna es mucho más barato, para la mayoría de los usos Terra parece ofrecer un mejor equilibrio entre tiempo y costo. La calidad de Terra suele ser casi igual a la de Sol, pero es mucho más rápido y barato. Dicho eso, valoro mucho el sentido de diseño de Sol en cosas como el secuenciador de audio. Durante un tiempo, los resultados visuales de todos los modelos se habían vuelto parecidos; en ese aspecto, este es el primer modelo claramente diferenciado en bastante tiempo

    • Una cifra que llamó la atención es que GPT-5.6 Sol tiene 1,264 líneas de código, archivos de 35.5 KB y gzip de 10.0 KB, mientras que GPT-5.6 Terra tiene 827 líneas, 20.0 KB y gzip de 6.7 KB

  • Parece un resultado que respalda la crítica de que modelos como GLM están demasiado optimizados para benchmarks y no están tan cerca de los modelos de punta como uno podría pensar viendo solo los números

  • Me gusta mucho más esta metodología de evaluación de IA que otros benchmarks
    El mundo real es complejo, y está claro que otros benchmarks son fáciles de atacar para los modelos abiertos chinos. El estilo del texto tampoco me molesta y se deja leer perfectamente

  • Publicación relacionada reciente: comparación pidiendo a Grok 4.5, GPT-5.5 y Claude que crearan la misma app
    https://news.ycombinator.com/item?id=48838772 — julio de 2026, 92 comentarios

  • Falta el prompt exacto, así que es difícil reproducirlo aunque uno quiera
    También me da curiosidad cómo fue escrito el prompt. Eso podría ser una de las grandes razones por las que algunos modelos, como GLM 5.2, fallaron por completo en el renderizado SVG