2 puntos por GN⁺ 3 시간 전 | 1 comentarios | Compartir por WhatsApp
  • SpaceXAI lanzó Grok 4.5, su modelo de gama más alta orientado a codificación, tareas agénticas y trabajo de conocimiento
  • El proceso de entrenamiento se enfocó en decenas de miles de GPU NVIDIA GB300 y en la eliminación de duplicados, puntuación de calidad y selección centrada en dominios, priorizando la calidad de la señal por encima del simple volumen de tokens
  • En benchmarks registró Terminal Bench 2.1 83.3%, SWE Bench Pro 64.7%, DeepSWE 1.0 62.0% y DeepSWE 1.1 53%
  • La velocidad de serving es de 80 TPS, y el promedio de tokens de salida por tarea en SWE Bench Pro es de 15,954, unas 4.2 veces menos que los 67,020 de Opus 4.8(max)
  • Grok 4.5 está disponible en Grok Build, en todos los planes de Cursor y en la consola de SpaceXAI, pero aún no está habilitado en la UE y está previsto para mediados de julio

Entrenamiento y evaluación orientados a codificación y tareas agénticas

  • Grok 4.5 fue entrenado con datasets que incluyen conocimientos de codificación, ciencia, ingeniería y matemáticas, y tiene como casos de uso centrales las tareas reales de ingeniería y las tareas agénticas
  • Resultados de benchmarks

    • Las cifras de los modelos comparados provienen de las system cards públicas de cada desarrollador o de tablas de clasificación de benchmarks
    • DeepSWE 1.0: Grok 4.5 62.0%, Fable(max) 66.1%, GPT 5.5(xhigh) 64.31%, Opus 4.8(max) 55.75%, Opus 4.7(max) 40.12%
    • DeepSWE 1.1: Grok 4.5 53%, Fable(max) 70%, GPT 5.5(xhigh) 67%, Opus 4.8(max) 59%, GLM 5.2 44%
    • Terminal Bench 2.1: Grok 4.5 83.3%, Fable(max) 84.3%, GPT 5.5(xhigh) 83.4%, Opus 4.8(max) 78.9%, Opus 4.7(max) 78.9%
    • Tasa de resolución de SWE Bench Pro: Grok 4.5 64.7%, Fable(max) 80.4%, Opus 4.8(max) 69.2%, Opus 4.7(max) 64.3%, GLM 5.2 62.1%, GPT 5.5(xhigh) 58.6%
  • Infraestructura de entrenamiento y procesamiento de datos

    • La infraestructura de entrenamiento usó decenas de miles de GPU NVIDIA GB300 e incluyó técnicas de estabilidad para ejecuciones de entrenamiento a gran escala
    • El procesamiento de datos invirtió más en filtrado y curación que en el simple volumen de tokens
      • Eliminación de duplicados
      • Puntuación de calidad
      • Selección centrada en dominios
    • El aprendizaje por refuerzo se realizó sobre cientos de miles de tareas, con foco en la inteligencia por token
      • Las tareas centrales son ingeniería de software de varios pasos y otras tareas técnicas
      • Para la evaluación se usaron calificación automática y calificación basada en modelos
      • Los rollouts agénticos pueden ejecutarse durante varias horas, y el entrenamiento usa una pila de aprendizaje asíncrona que sigue corriendo en decenas de miles de GPU
  • Ejemplos de uso en codificación

    • Se presenta a Grok 4.5 como fuerte en tareas de programación, desde trabajos difíciles en Rust y C/C++ hasta la creación de apps end-to-end basadas en prompts
    • El prompt de ejemplo pide crear con threejs una simulación del espacio y el sistema solar, que incluya control del tiempo, movimiento realista, órbitas, estrellas y un HUD moderno

Velocidad, precio y soporte para herramientas de trabajo

  • Grok 4.5 se ofrece con una velocidad de modelo de 80 TPS
  • El promedio de tokens de salida por tarea en SWE Bench Pro es de 15,954, unas 4.2 veces menos que los 67,020 de Opus 4.8(max)
  • El precio es de 2 dólares por millón de tokens de entrada y 6 dólares por millón de tokens de salida
  • SpaceXAI afirma que Grok 4.5 logra aproximadamente el doble de eficiencia de tokens que los modelos líderes comparados y resuelve tareas en menos de la mitad de pasos
  • Grok Build y plugins de Office

    • Grok 4.5 es el modelo predeterminado de Grok Build
    • Grok Build puede crear modelos complejos de Excel que incluyen investigación web, uso de fórmulas en varias hojas y stickies o notas para referencia futura
    • En PowerPoint puede crear diagramas complejos con formas nativas y diseñar contenido de diapositivas intuitivo
    • En Word ayuda a redactar oraciones claras
    • Los plugins de Office están disponibles para Word, PowerPoint y Excel
  • Canales de disponibilidad y restricciones

    • Grok 4.5 está disponible actualmente en Grok Build, en Cursor para todos los planes y en la consola de SpaceXAI
    • Se ofrece uso gratuito de Grok 4.5 de forma limitada en Grok Build y Cursor
    • En la UE, Grok 4.5 todavía no está disponible en los productos de SpaceXAI ni en la consola de API, y se espera que esté disponible a mediados de julio

1 comentarios

 
GN⁺ 3 시간 전
Opiniones en Hacker News
  • Creo que es difícil confiar en xAI sabiendo que ajusta activamente las respuestas del modelo para que encajen con una narrativa política.
    Me surge la duda de cómo se puede confiar en un modelo en un entorno empresarial si en el backend lo siguen guiando en esa dirección.

    • ¿No es posible que todos los proveedores de modelos también estén ajustando las respuestas para que encajen con sus narrativas políticas preferidas?
    • Se pregunta si con otros modelos la situación no es la misma.
    • Si le preguntas a Claude sobre temas sensibles como las tasas de criminalidad de minorías en Occidente o la biología de las mujeres trans, puede que no hayas notado las mentiras.
      Incluso si le señalabas al modelo que estaba mintiendo, probablemente no era fácil lograr que admitiera que se debía al proceso de HRLF y a sesgos incorporados.
      Cuando logras que Claude diga por sí mismo que no debería usarse en 10 a 15 áreas importantes de investigación, o que admita que en asuntos “difíciles” las fuentes suelen estar seleccionadas de forma sesgada y que muestra un falso equilibrio extremadamente equivocado, uno termina sintiendo que todos los LLM tienen sesgos y que la mayoría se inclina hacia lo progresista.
      De hecho, al probarlo, muchas veces Grok daba respuestas más políticamente correctas que GPT o Gemini, y su reputación filosa se debería solo a que usuarios de X pueden forzarlo deliberadamente a decir cosas políticamente incorrectas.
      Agrega que Grok en grok.com o en la app en realidad es bastante manso, incluso aburrido.
    • ¿No bastaría con no usarlo para fines políticos?
      La postura es que, si solo lo vas a usar para generar código, por qué habría que preocuparse por eso.
    • La retórica de Elon y el comportamiento del modelo no encajan muy bien.
      Grok también hace críticas a Elon y suele refutar varios de los argumentos de extrema derecha que él promueve.
  • Me sorprende que la gente quiera usar Grok.
    xAI parece demasiado abiertamente una empresa moralmente en bancarrota, y se siente como la única empresa de IA que parece estar bien con el CSAM, o al menos que no hace lo suficiente para impedirlo.
    No hay motivo para darles dinero, salvo que fuera la única opción, y hoy no lo es en absoluto.

    • Se cree que la gente les da dinero precisamente por esa postura moral.
      La interpretación es que están activamente de acuerdo con el CSAM o simplemente no les importa.
    • La idea de que basta con que haya una, o como mucho dos, empresas de IA es peligrosa.
      Históricamente, decidir quién es más moral no ha dado muy buenos resultados.
    • Antes pensaba bastante en si usar Grok u otros productos moralmente cuestionables, pero compré una casa, gasté mucho dinero con un sueldo de ingeniero de software, me mudé a SF hace unos años y quizá contribuí a la gentrificación, y me di cuenta de que no hice nada aunque muchísimos niños en China no tengan dinero para estudiar.
      Así que uso Grok, doné bastante dinero a ONG chinas, al punto de incomodar a mi familia, y como todavía tengo una hipoteca y yo mismo soy algo egoísta, decidí no donar a organizaciones sin fines de lucro de SF.
      Creo que la moral y las buenas acciones deben abordarse con una actitud práctica.
      Grok me gusta en varios sentidos, y boicotearlo también es moralmente bueno, pero pienso que hay muchas otras decisiones morales que uno puede tomar manteniéndose realista.
    • Creo que la moralidad de todos los grandes actores de la industria de IA es sospechosa.
      Los corpus de entrenamiento en general fueron robados, y todos siguen corriendo pese a tener deudas de las que es difícil salir.
      Pero los productos se han vuelto tan útiles que casi nadie va a quedarse al margen esperando un LLM “moralmente aceptable”, y ese modelo probablemente sería inevitablemente inferior.
      Aun así, sobre el CSAM es difícil juzgar; si xAI realmente lo considera aceptable, estoy de acuerdo en que es más inmoral que las demás empresas.
  • Grok 4.5 parece muy económico.
    Tiene una eficiencia de inferencia 4 veces mejor que Opus y cuesta $2/$6; en comparación, GPT 5.4 cuesta $2.5/$15, GPT 5.5/5.6 $5/$30, Opus 4.8 $5/$25 y Fable $10/$50.
    Si no manipularon los benchmarks, parece estar al nivel de Opus 4.7, y también coincide con lo que dijo Elon en https://x.com/elonmusk/status/2074911038286295049.
    Los datos de Cursor probablemente fueron bastante útiles.

    • El precio de $2/$6 parece aplicarse solo a longitudes de contexto de 200K o menos.
      Por encima de eso, hasta el contexto máximo de 500K, el precio se duplica a $4/$12.
      https://docs.x.ai/developers/models/grok-4.5
    • xAI tiene uno de los clústeres más grandes, pero es menos popular que sus competidores, así que tiene mucho menos tráfico y tokens que procesar; la hipótesis es que puede trasladar ese ahorro al usuario final.
    • Sería bueno que hubiera un plan equivalente con límites de cómputo parecidos al plan de $100 de Claude.
      Uso la versión de Grok de $40 al mes, y en un mes puedo hacer como máximo unas 8 horas de programación “sin parar” con Grok Build.
    • Me pregunto cómo se compara con las API chinas.
      Si xAI no parece significativamente más capaz que los laboratorios chinos, o al menos un poco más honesta, quizá tenga sentido mandar el trabajo a China salvo que sea mucho más barata.
    • Comparado con Deepseek v4 Pro, de rendimiento similar, es muy caro.
      Grok está atrapado en una posición ambigua. No es el mejor en ningún campo y tampoco es el más barato.
      Incluso antes de considerar su historial, cuesta encontrar una razón para usarlo, y también dudo que proponer en una empresa usar un modelo que se llama a sí mismo “MechaHitler” ayude a conseguir un ascenso.
  • Según el blog de Cursor, fue entrenado con billones de tokens de datos de Cursor, que incluyen una amplia variedad de interacciones reales de usuarios con bases de código y herramientas de software.
    Gracias a este dataset, puede aprender no solo del software existente, sino también de las interacciones entre desarrolladores y agentes, y capturar tanto la forma en que trabajan los desarrolladores como la forma en que los agentes interactúan con su entorno.
    Creo que ahí está la razón de tanto dinero invertido. Cursor fue el primer gran jugador con datos de proyectos reales antes de que Claude Code o Codex despegaran en serio.
    Usaron aprendizaje por refuerzo sobre problemas difíciles en entornos realistas para enseñar investigación de problemas, uso de herramientas, recuperación de errores y verificación de resultados; y, a medida que las tareas existentes ya no aportaban nada nuevo que enseñar, tuvieron que diseñar problemas tan difíciles que incluso los modelos frontier fallaran.
    Crearon un sistema distribuido de agentes en el que los ingenieros definen los problemas y los métodos de verificación, y agentes a gran escala configuran, prueban y mejoran el entorno; la estructura prepara datasets para la siguiente iteración de entrenamiento usando modelos de la generación anterior.
    Es un ciclo en el que, cuanto mejor es el modelo, mejores son los datos, y mejor es también el siguiente modelo; y para quienes creen que “los modelos chinos están cerca del nivel máximo actual”, también hay una comparación con el entrenamiento de Composer 2.5.
    La evaluación de que xAI se vino abajo después de ceder mucho cómputo a Anthropic parece algo exagerada, y Grok 4.5 fue entrenado en decenas de miles de GPU NVIDIA GB300.

    • Microsoft tiene GitHub y Visual Studio, pero no tiene un buen modelo de coding.
    • También se pueden preparar datos para modelos de la siguiente generación usando modelos de la generación anterior, o directamente hacer que generen datos sintéticos.
      Antes se consideraba una mala idea, pero se ha visto que, si se usa mucho cómputo para construir un andamiaje que genere datos y los califique, la calidad resulta bastante buena.
    • La gran inversión también entró en acciones de SpaceX, incluso en nuevas acciones justo después de la IPO, así que en conjunto parece una jugada bastante astuta.
    • He leído varias veces que preparar el dataset para la siguiente iteración con modelos de la generación anterior es perjudicial para el entrenamiento.
      En la práctica, se está describiendo lo que mucha gente llama destilación, y entiendo que eso solo sirve para inducir comportamientos en el post-entrenamiento: enseña cómo comportarse, pero no cómo pensar.
      Puede que esté equivocado, así que me gustaría que alguien que sepa más lo explique.
  • No entiendo cómo tiene sentido económico gastar miles de millones de dólares para crear el modelo número 3.
    Incluso el número 1 y el número 2 ya parecen tener dificultades para generar ganancias, así que me pregunto qué me estoy perdiendo.
    No quiero llevarlo al extremo al estilo Ed Zitron, pero no lo entiendo.

    • Antes era un cuarto lugar bastante rezagado, y aunque no puede alcanzar a OpenAI o Anthropic de una sola vez, sí subió un escalón en la escalera.
      A corto plazo, los laboratorios no son rentables, y se dice que Anthropic ya está casi llegando a ese punto.
      Amazon también fue famosa durante mucho tiempo por no generar ganancias, pero al final ganó en grande; de la misma manera, que hoy haya ganancias o no no es necesariamente lo central para los inversionistas. Lo importante es si creen en la posibilidad de ganancias futuras.
      Elon parece creer que, en el futuro, una gran parte de la economía será operada por IA, y que el valor económico de los tokens crecerá más rápido que el costo de generarlos. Esto incluye también la amortización del costo de entrenamiento del modelo que producirá esos tokens.
      Por eso está creando un laboratorio que entrena modelos y cobra por inferencia, y parece creer que, aunque no sea ahora, eventualmente será rentable.
      Uno puede estar de acuerdo con eso, y si él puede superar a Anthropic/OpenAI es aún más incierto a la luz de las dificultades recientes para retener investigadores, pero las ganancias actuales no son un buen indicador para juzgar si se cree en las ganancias futuras.
      Tesla y SpaceX también tuvieron una rentabilidad muy mala, pero algún día dejaron de tenerla.
      Personalmente estoy de acuerdo en que en el futuro habrá ganancias enormes, pero no tengo la misma confianza en la capacidad de Elon para vencer a Anthropic/OpenAI.
    • Es perseguir el mismo sueño que sus competidores.
      Encontrar un avance, obtener una ventaja y alcanzar una posición dominante.
      Además, si alrededor de una empresa aparece la palabra IA, suben los números necesarios, así que para Musk es útil tener una división interna de IA que pueda agrupar con sus otras empresas y elevar la valuación, incluso si el producto en sí genera pérdidas.
    • Una perspectiva en tono de broma: si es la única forma de escapar de una clase baja permanente, Elon tampoco es la excepción.
    • Lo mismo se podría decir ahora de Google y de muchos otros laboratorios.
      Un mercado diverso con muchas opciones ayuda a evitar que se repitan las guerras de los navegadores.
    • Este mercado no es lo bastante maduro ni establecido como para ordenar rankings definitivos.
      Hubo muchos mercados tecnológicos en los que la etapa inicial no predijo la etapa posterior.
      Personalmente soy escéptico respecto de Grok, pero si Claude pierde su ventaja, podría crear un nicho rentable mediante la integración con Cursor.
  • Tenía OpenRouter configurado solo para ZDR, así que nunca había probado los modelos de Grok.
    Acabo de revisar y parece que ahora hay un endpoint ZDR de xAI, así que pienso probarlo de verdad.
    Me pregunto si alguien sabe cuándo se agregó.
    Sin embargo, en la sección de anonimato dice “Requires user IDs”, lo cual es inusual en OpenRouter y no se ve nada bien. Normalmente OpenRouter funciona como un proxy que anonimiza las solicitudes antes de enviarlas al proveedor, pero no encontré una configuración que imponga esto en toda la cuenta, como ocurre con la opción solo ZDR.

  • La primera impresión es bastante buena
    Tiene un alto número de tokens por segundo, parece rondar los 90, y la eficiencia de tokens también es muy alta, así que supera fácilmente a GPT 5.5, Opus 4.8 y GLM 5.2 en velocidad
    El precio también es muy bueno; si pagas directamente el costo de la API, GPT y Opus son demasiado caros, y considerando incluso la eficiencia de tokens, probablemente podría ser más barato que GLM 5.2
    Tomará bastante tiempo determinar su nivel de inteligencia, pero definitivamente es bueno, y parece estar en la parte baja de la misma categoría que Opus, junto con GLM 5.2

    • Estoy de acuerdo
      En Cursor, le planteé el problema de que “esta suite de pruebas no es lo bastante sólida como para que me guste, y demasiadas veces depende del estado interno más que de los resultados”, y le pedí que “lo revisara y propusiera soluciones”; organizó bien el enfoque de pruebas, sus fortalezas, debilidades y huecos, y recomendó un enfoque múltiple y sistemático basado en una biblioteca de pruebas confiable: https://hypothesis.readthedocs.io/en/latest/
      Separó lo que había que hacer en esta ronda de mejoras de lo que se dejaría para después, identificó casos que podían ser muy difíciles o quedar fuera del alcance y me dio la opción de concentrarme en ellos, y también estructuró lógicamente las nuevas pruebas
      Después de una ronda de feedback y ajustar el plan, lo corrí en modo agente, y unos minutos después tenía una suite de pruebas mucho mejor
      Nunca había usado Grok, así que tenía expectativas bajas, pero resolvió muy bien una tarea compleja, detallada y de varios pasos que antes solo le habría confiado a GPT u Opus
      Como actualización, también encontró un bug real y antiguo. Después de mejorar las pruebas, le pedí revisar todo el código y el empaquetado; detectó defectos menores y omisiones, pero también encontró una debilidad en el manejo de errores y un bug funcional bastante vergonzoso, lo corrigió y hasta agregó pruebas
    • Es interesante, pero no sé si estoy haciendo algo mal: este modelo me parece casi inutilizable
      Sigue arruinando incluso solicitudes básicas que casi no requieren contexto; por ejemplo, le pedí que inlineara una función helper y, en lugar de hacer un cambio de 10 líneas, reescribió la mitad del módulo relacionado
  • De los 3 modelos que probé directamente, Grok fue el que mejor hizo la app de iOS que quería para uso personal
    Era una app de ciclocomputadora con condiciones específicas, y aunque Claude se rindió y quiso irse por una implementación en HTML/CSS, yo insistí en native SwiftUI+Metal
    Grok también se equivoca a veces, pero me sorprendió porque infirió bastante bien partes que pensé que tendría que indicarle una por una
    Como no soy desarrollador iOS, fue realmente útil obtener lo que necesitaba en horas o días, en lugar de pasar meses o años aprendiendo el lenguaje y las API
    No estoy “vibe coding” Caddy en absoluto; es más bien algo que toco como proyecto personal

    • Que Claude haya querido irse por una implementación en HTML/CSS y tú hayas insistido en native SwiftUI+Metal suena muy raro y es exactamente lo contrario de mi experiencia
      No dijiste qué modelo usaste, pero Opus 4.8 o Sonnet nunca ignoraron el lenguaje ni el stack que quería
    • He hecho bastante desarrollo iOS nativo con Opus 4.8, y antes también usé 4.7/4.6, así que esto me cuesta creerlo
      Me da curiosidad si usaste Opus u otro modelo
    • Creo haber leído antes un comentario casi igual o muy parecido
      Tenía la misma idea de una app iOS de ciclocomputadora y de que cierto modelo se había rendido
      Por separado, estoy realmente agradecido por Caddy. Me ayudó mucho a iniciar un proyecto nuevo, y funcionó tan bien con la configuración por defecto que eliminó una fuente de errores a la que habría que prestar atención durante el onboarding del equipo
    • Me pregunto si usaste Claude en Claude Code
      Tal vez usaste un modelo más débil como Haiku; Claude no debería ser tan malo como dices
    • Como alguien que no está satisfecho con las ciclocomputadoras, donde hay bastantes decisiones horribles de UI/UX, me da curiosidad si podrías compartir o explicar lo que construiste
      El servidor web sí me gusta
  • Cursor también participó en el entrenamiento del modelo, y la publicación del anuncio está en https://cursor.com/blog/grok-4-5
    En particular, dijeron que Grok 4.5 y Composer 2.5 son de clases de pesos de modelo distintas, y que les alegra poder admitir ambos tamaños y pesos
    Composer 2.5 seguirá estando disponible, y dicen que lanzarán nuevos modelos de este tamaño en el futuro

    • Composer 2.5 está basado en Kimi 2.5, con 1T en total y 32B activos, y Elon dijo públicamente que Grok 4.5 tiene 1.5T parámetros en total
      La diferencia no es tan grande como para decir que son clases de pesos distintas
      La diferencia en costo de la API es de unas 2.5 veces, probablemente porque xAI tiene costos mucho mayores que recuperar
  • https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

    • El hámster también está mejorando cada vez más, pero comparado con los modelos más avanzados actuales todavía está bastante lejos
      https://aibenchy.com/showcase/?q=grok
    • Parece que va montando una bicicleta que usa ruedas de auto con tapacubos gruesos