GLM 5.2 y el inminente colapso de los márgenes de inferencia en IA
(martinalderson.com)- GLM 5.2 muestra que los modelos de pesos abiertos (open weights) se están acercando a las tareas agénticas de nivel Opus y GPT, y que podrían presionar los altos márgenes de inferencia de los modelos frontier cerrados
- El punto clave en los costos de IA no es tanto el costo de entrenamiento, que se paga una vez, sino el costo de inferencia, que crece con la demanda; es probable que precios de API del orden de $25/MTok incluyan márgenes brutos altos
- La calidad es difícil de distinguir de Opus, pero como tiende a “pensar” mucho, aumentan la velocidad percibida y el uso de tokens; la falta de soporte de visión y una búsqueda web débil siguen siendo desventajas
- Gracias a los endpoints compatibles con OpenAI y Anthropic de Z.ai y Fireworks, en Claude Code y Codex se puede experimentar con solo cambiar la base URL y la API key
- El precio de GLM 5.2 es de aproximadamente $4.40/MTok, menos del 20% del precio retail de Opus y alrededor del 15% de GPT5.5; podría bajar aún más con optimizaciones del stack de serving y el uso de AMD
Estructura de costos: la inferencia, más que el entrenamiento, define los márgenes
- Cuando apareció DeepSeek R1, el mercado reaccionó a los reportes de que el costo de entrenamiento del modelo V3 había sido inferior a 6 millones de dólares e interpretó que la inversión en grandes infraestructuras para entrenar modelos había terminado, pero esto se parece más a una lectura equivocada de la estructura de costos de la IA
- El costo de entrenamiento requiere mucho capital, pero en esencia se parece más a un costo fijo pagado por adelantado
- Los laboratorios frontier siguen entrenando modelos nuevos para mantenerse competitivos, así que no es un costo completamente único
- Aun así, su naturaleza es distinta de la del costo de inferencia, que aumenta en proporción al uso de los clientes
- El costo de inferencia crece junto con la demanda y crea el verdadero costo marginal
- Cuando Anthropic y OpenAI cobran $25/MTok por inferencia, algunos cálculos sugieren que podrían tener un margen bruto de alrededor del 90% frente al costo de cómputo
- Los datos financieros filtrados de OpenAI sugieren un margen bruto de alrededor del 60% sobre ingresos, pero ahí probablemente se incluyan soporte, procesamiento de pagos y otros costos de servicio
- El modelo de negocio de los laboratorios frontier de IA consiste en entrenar modelos con personal y cómputo costosos, y luego amortizar esos costos mediante grandes volúmenes de inferencia altamente rentable
Calidad y experiencia de uso de GLM 5.2
- GLM 5.2 de Z.ai puede considerarse el primer competidor real de pesos abiertos frente a Opus y GPT
- Al momento de escribir, el GPT más reciente se menciona como GPT 5.5
- También se aclara que modelos futuros podrían superar este nivel
- En el uso real, la calidad fue tan alta que resultaba difícil distinguirlo del Opus usado a diario
- La mayor desventaja es la lentitud percibida
- En tareas agénticas no interactivas y poco sensibles al tiempo, como revisiones de PR en segundo plano, no es un gran problema
- En usos interactivos, es algo lento para mantener la atención
- La lentitud proviene principalmente de que el modelo “piensa” mucho, más que del serving en sí
- GLM 5.2 en Fireworks se lanzó con una alta velocidad medida en tokens/sec, pero la velocidad real tuvo cierta variabilidad
- Como tiende a pensar más, aumenta el uso de tokens, lo que reduce en parte la eficiencia de costos
Debilidades en visión y búsqueda web
- GLM 5.2 no tiene soporte de visión (vision)
- Desde las funciones de visión de alta resolución de Opus 4.7, se volvió común leer PDFs basados en imágenes, capturas de pantalla y archivos de diseño, por lo que esta carencia se siente mucho
- Sigue siendo una desventaja importante frente a los laboratorios frontier
- La ausencia o baja calidad de la búsqueda web también limita las tareas agénticas
- Casi todas las sesiones agénticas realizan muchas búsquedas web para consultar elementos
- Z.ai ofrece un MCP alternativo para búsqueda web, pero fue lento y de baja calidad
- Fireworks no ofrece función de búsqueda web
- Como solución temporal, se puede indicar al agente que use una búsqueda web basada en CLI como ddgr
- Una buena API de búsqueda web de terceros podría cubrir un gran vacío que los proveedores de modelos de pesos abiertos aún no han llenado
- La capacidad de búsqueda web es esencial para muchas tareas agénticas y podría resolverse con el tiempo si quienes construyen índices de búsqueda establecen las alianzas y conexiones adecuadas
Modelos de pesos abiertos con bajo costo de cambio
- Lo más amenazante para los laboratorios frontier es que la dificultad de migración hacia modelos de pesos abiertos es baja
- Tanto Z.ai como Fireworks ofrecen endpoints compatibles con OpenAI y con Anthropic
- En Claude Code y Codex se cambia la base URL al proveedor de inferencia
- Se configura la API key
- Se especifica GLM 5.2 como modelo a usar
- En el contexto en que Anthropic anunció y luego retiró el cobro de tarifas de API por el uso agéntico no interactivo de
claude -p, muchos casos de uso pueden reemplazarse por GLM - Incluso en usos interactivos, salvo por la falta de visión y la menor velocidad, dentro de Claude Code era difícil notar que no se estaba usando Opus
- Este cambio no es una migración que haya que planear durante años como en un lock-in al estilo Microsoft o Salesforce
- El costo de cambio es bajo
- Puede ser menor que el costo de adaptarse a los cambios de políticas y términos de los laboratorios frontier
- Existe la posibilidad de que Claude Code dificulte en el futuro el uso de proveedores de terceros
- Hay muchas buenas alternativas open source, incluidas Codex y OpenCode
Adopción empresarial: protección de datos y opciones de despliegue
- Una preocupación frecuente en empresas es la privacidad y seguridad de los datos
- La API oficial y las suscripciones de Z.ai no parecen una opción viable para empresas debido a términos débiles y a sus fuertes vínculos con China continental
- Con un modelo de pesos abiertos se puede elegir otro proveedor
- En el mercado hay muchos proveedores con condiciones contractuales más adecuadas
- Si es necesario, también es posible hacer hosting on-premise
- Un despliegue on-premise permite usar en flujos de trabajo agénticos de nivel Opus datos aún más sensibles que antes no podían enviarse a ningún tercero
Precios y presión sobre los márgenes
- El precio actual de GLM 5.2 ronda los $4.40/MTok
- Menos del 20% del precio retail de Opus
- Alrededor del 15% del costo de GPT5.5
- Como GLM 5.2 usa más tokens para la misma tarea, no es una comparación completamente equivalente
- Aun así, es probable que ofrezca una calidad similar con un costo al menos 50% menor en casi todos los flujos de trabajo
- Z.ai ofrece una suscripción de “coding plan” similar a los planes de Anthropic y OpenAI, con límites de uso más altos
- Sin embargo, sus términos laxos sobre entrenamiento y retención de datos pueden dificultar su venta para uso profesional
- Si los laboratorios frontier suben mucho los precios, podría convertirse en una opción confiable para usuarios sensibles al presupuesto
- Se espera que el costo de GLM 5.2 baje de forma significativa durante los próximos meses gracias a optimizaciones del stack de serving
- Wafer resumió su experiencia ejecutando GLM 5.2 en hardware AMD
- Plantea que ejecutar inferencia en AMD es 2.75 veces más barato por token que en Nvidia Blackwell
- Fireworks ofreció créditos gratuitos para experimentar con GLM
1 comentarios
Opiniones de Hacker News
No estoy seguro de que el costo en sí sea tan importante
Entiendo el argumento del colapso de los márgenes, pero no veo buenos paralelos históricos. Las empresas probablemente paguen caro por garantías de servicio, integración y alguien a quien puedan demandar, y al final parece repetirse aquello de “a nadie lo despidieron por comprar IBM”
Tercero, la estrategia de EE. UU. parece ir hacia restringir artificialmente el acceso a modelos potentes; si China mantiene el ritmo actual, en 6 meses sacará un modelo tan bueno como Fable y tampoco lo mantendrá bloqueado. Si hay modelos abiertos más baratos y mejores, el incentivo para cambiarse es enorme, y si China está ganando participación, tendrá muchos menos motivos para subir precios. David Sacks y la estrategia de IA del gobierno estadounidense son muy cortoplacistas y creo que les saldrá el tiro por la culata
En los años 80 se derrumbaron los márgenes de los chips de memoria e Intel abandonó por completo ese negocio; en ese entonces, Intel era más conocida como empresa de chips de memoria que como empresa de microprocesadores. Los márgenes de las estaciones de trabajo de gama alta también se vinieron abajo ante las baratas compatibles con IBM PC y la explosión del software MS Windows, lo que llevó directamente a la desaparición de SGI, Sun, Symbolics, Lucid, LMI y otras
Las variantes propietarias de UNIX como HP-UX, IRIX, AIX y SCO Unix prácticamente desaparecieron, reemplazadas por sistemas operativos propietarios más baratos como Windows y MacOS, o por descendientes de código abierto como Linux y BSD. Los proveedores de bases de datos comerciales como Oracle, dBase, Sybase, FoxPro, SQL Server y Access de Microsoft también sufrieron una fuerte presión sobre sus márgenes por parte de PostGres, MySQL y SQLite; Oracle sobrevivió gracias a su enorme base instalada y su equipo legal, y Microsoft porque podía subsidiarlo de forma cruzada desde sus monopolios de OS y Office, pero dBase, Sybase y FoxPro desaparecieron
Aunque el proveedor sea distinto, la experiencia de usuario es la misma: mandas un prompt y recibes una respuesta. En los otros casos había que aceptar perder soporte o atravesar un período de transición difícil, pero los LLM casi no tenían soporte desde el principio, y la migración es apenas actualizar el arnés actual para que conozca otro modelo
Una comparación más adecuada sería el ascenso de AMD. Puede que no haya llegado a dominar el mercado, pero sí hizo una abolladura importante, y fue clave que AMD x86 fuera bastante cercano y compatible con Intel x86, además de mucho más barato
Los hiperescaladores funcionan porque ofrecen valor real frente a las alternativas gratuitas y porque los costos de cambiar de proveedor son enormes. Windows y macOS también tienen costos de cambio muy altos, y en muchos casos cambiar ni siquiera es posible. Con Office también hay costos de cambio grandes por problemas de compatibilidad y reentrenamiento del personal
Al final, la clave es el efecto de bloqueo, y hasta ahora no parece existir en los LLM. Por eso creo que los argumentos anteriores no aplican bien aquí
Mac OS también es gratis. En el sentido de gratis como cerveza
Es cierto que las empresas pagan caro por garantías de servicio, integración y una contraparte demandable, pero en términos generales las empresas estadounidenses son increíblemente ricas, así que quizá no sean un buen ejemplo de gasto racional
El mes pasado cancelé mi suscripción a Claude Pro y con esos 20 dólares compré créditos de Openrouter. La mayoría de mis preguntas para explorar conocimiento se pueden responder con Gemma4, Qwen3.6 27b basta para edición básica de código, y GLM5.2 aguanta incluso tareas realmente difíciles
Tampoco uso tanto la IA, así que con el esquema de créditos de API, usando el modelo más pequeño posible según la complejidad de la tarea, en realidad estoy ahorrando dinero
Estoy de acuerdo desde la dirección opuesta. La IA sigue absorbiendo mi trabajo como ingeniero sénior de software de sistemas en C/C++, y durante meses solo he gastado unos cientos de dólares usando gpt-5.5/5.6 y codex.
No sé qué hace la gente para quemar tantos tokens, pero para mí es ridículamente barato y descubro funciones nuevas todos los días. Si el costo sube o baja, no me importa porque es demasiado barato para lo que obtengo.
Si usas un LLM como asistente para tu propio trabajo, no consumes tantos tokens, pero si haces que varios agentes trabajen de forma independiente y revisen el trabajo de los demás, el presupuesto se quema de verdad muy rápido.
Los modelos tontos empezaron a colapsar en ese punto, y como el proyecto era más o menos usable para mis necesidades, me detuve. Después llegaron la programación con agentes y modelos lo bastante inteligentes como para arreglar los problemas, pero procesaban el código base de forma extremadamente ineficiente porque estaba demasiado desordenado. Con solo unos pocos prompts llegaba a gastar la cuota de 5 horas.
Tras dedicar unos días a crear un agent.md decente y refactorizar el código base, ahora consume tokens de a poco. Sospecho que todavía mucha gente está en ese mismo barco. Muchos de nosotros no conocemos en absoluto las mejores prácticas, ni sabemos cómo decirle al agente que se comporte.
En retrospectiva, debería haber dedicado unos días a aprender lo básico, pero el problema es que uno no sabe lo que no sabe. Me cuesta creer que las empresas estén configurando prompts para que el agente se comporte con consideración al incorporar usuarios nuevos, y les conviene enganchar a gente como yo y hacernos usar la mayor cantidad posible de tokens. Gasté unos cientos de dólares extra en suscripciones y niveles que no necesitaba, pero en ese momento era poco dinero comparado con la mejora de productividad de pasar de 0 a 1.
Como el modelo en sí no tiene capacidad de visión nativa, existe un vision MCP para compensarlo: https://docs.z.ai/devpack/mcp/vision-mcp-server
La búsqueda web también estuvo en general bastante bien. Si usas el harness de ZCode, la cuota de Coding Plan es más grande: https://zcode.z.ai/en
Lo probé un rato y está como a medio camino entre OpenCode Desktop y Claude Desktop. OpenCode Desktop todavía es nuevo, pero está bien, y las versiones recientes de Claude Desktop son buenas.
Como modelo, GLM 5.2 en el modo de razonamiento máximo me parece en general satisfactorio; está más o menos entre Sonnet 5 y Opus 4.8, y definitivamente es mejor que DeepSeek V4 Pro.
En cuanto al precio, la suscripción no se ve tan buena como esperaba. Usé alrededor del 60% del límite semanal del plan Pro de 50 dólares en un solo día, y fue solo eso porque en cada límite de 5 horas estaba configurado para usar apenas el 20%; de lo contrario habría sido 80–100%. Tampoco hice nada especialmente loco: solo trabajos largos en paralelo en 2 proyectos, con una tasa de acierto de caché de alrededor del 96% y hasta 3 subagentes de revisión de código en paralelo.
Con la suscripción Max de 100 dólares probablemente aguantaría toda la semana, pero Anthropic también lo hace por el mismo dinero, y OpenAI probablemente también. Las horas valle son mejores, pero no puedo quedarme cruzado de brazos de 9 a. m. a 1 p. m. hora local.
El ahorro real saldría al sumar pago anual al plan Max, pero eso es más difícil de justificar.
Es importante que estas empresas no puedan coludirse para fijar precios. Que China sea un competidor garantiza eso.
La forma más fácil de entender la economía de los tokens sigue siendo la microeconomía básica. ¿Cómo podría esto no ser un mercado competitivo, es decir, un mercado donde las ganancias tienden a cero?
Cualquier cosa que A u O hagan para conservar más margen, un competidor puede copiarla o bajar el precio, y bajar el precio además tiene la ventaja de permitir reunir datos de entrenamiento. Fuera de la colusión o la fijación de precios, ¿qué podría impedir que la ganancia bruta de los tokens tienda a cero?
Aunque pensé exactamente lo mismo sobre las GPU, y Nvidia todavía no parece tener un competidor real en centros de datos.
Mi analogía favorita es que la IA se volverá tan barata como la electricidad.
¿Sabes quién te suministra la electricidad o de qué planta viene? Probablemente no. La electricidad es un commodity, está en gran medida asentada y hay muchos recursos energéticos. También hay energías alternativas y minas de carbón. Todos compiten en las transacciones de oferta y demanda de energía que ocurren en tiempo real. Aquí puedes pensar en OpenRouter.
Al final, por la abundancia, gana el consumidor.
Creo que el mayor ejemplo de abundancia de inteligencia barata e infinita no será GLM5.2, sino DeepSeek V4 Pro max, con 0.435 dólares por millón de tokens de entrada y 0.87 dólares por millón de tokens de salida.
No entiendo el argumento de que “el entrenamiento implica mucho gasto de capital, pero es un costo fijo y pagado por adelantado; si gastas cientos de millones de dólares en entrenar un modelo, ahí termina todo”.
Si hay competidores y la gente sigue esperando más, entonces hay que seguir entrenando modelos nuevos; y si el costo de entrenamiento parece crecer cada vez más en relación con la tasa de mejora, ¿no es esto un costo permanente que hay que seguir absorbiendo? La nota al pie parece insinuar ese punto, pero al final da la impresión de que lo pasa por alto
Me pregunto si también existe un costo de entrenamiento incremental para mantener el modelo relevante. ¿O el modelo solo conoce los acontecimientos hasta el día en que fue entrenado?
Claro, también se puede poner en la ventana de contexto, pero eso tiene sus propios problemas.
A menos que algunas investigaciones nuevas prometedoras nos den un método nuevo, el costo de entrenamiento seguirá siendo un agujero por donde se va el dinero.
Además, si dejas de entrenar, seis meses después alguien lanza un modelo de pesos abiertos, y entonces pasas a competir por ofrecer el mismo producto al precio más bajo.
Tampoco hay que olvidar que este negocio no es solo una herramienta técnica, sino uno que necesariamente tiene que entrar en el mercado laboral global. Para justificar una valuación de 1 billón de dólares, los modelos tienen que ser muchísimo mejores.
Dice “el cambio inminente menos entendido en la economía de la IA” y luego habla de algo que sale todos los días en las noticias de IA. Da la impresión de que nunca oyó que los modelos open source se están volviendo más baratos y de mayor calidad.
Para empezar, bajo ningún criterio GLM5.2 es tan bueno como Opus.
Segundo, sí, los modelos open source terminarán presionando los márgenes, y todo el mundo lo sabe. ¿Pero de verdad se asume que el modelo de negocio de IA de hoy será el mismo mañana?
Su personalidad también es más neutral y menos confrontativa que la de Opus. Opus siempre se siente como “para objetar eso...”, mientras que GLM se acerca más a “sí, entendido”. Uso ambos y ambos me parecen buenos, pero si Opus desapareciera mañana, no lloraría. Podría adaptarme rápidamente usando solo GLM-5.2.
Se dice que la capacidad de búsqueda web de GLM 5.2 es mala, pero creo que eso es responsabilidad del harness.
Levanté mi propia instancia de SearXNG en un VPS y la integré en Pi junto con una herramienta de webfetch, y GLM 5.2 hasta ahora ha encontrado bien las cosas. Le pedí noticias recientes de un diario austríaco en línea que es difícil de parsear por sus overlays publicitarios agresivos, y las apps de chat predeterminadas de ChatGPT y Claude fallaron ambas. GLM 5.2 dentro de Pi fue lo bastante listo como para buscar el feed RSS y dio un resumen detallado.
Es una verdadera lástima que no tenga visión. Implementé una solución alternativa en Pi y más o menos funciona, pero no es tan buena y la experiencia en general se siente torpe.
Me parece un artículo bastante inútil, centrado solo en los tokens de salida.
En la codificación con agentes, los tokens de entrada cacheados representan el 90% del “costo” de la API. No requieren cómputo de GPU, y DeepSeek mostró que con MLA/CSA/HCA y mucho disco se pueden procesar entre 50 y 100 veces más barato. Eso es lo que va a derrumbar los márgenes.
Dice algo como: “Con una tarifa de 100 dólares al mes, recibes el equivalente a 3600 dólares de uso de API. Esto probablemente se deba a que Anthropic encontró métodos inteligentes de enrutamiento de modelos y caché de entrada, y a que puede subsidiarlo con dinero de inversionistas y aceptar pérdidas en el margen operativo”.
Mi interpretación es que esa es exactamente la imagen que Anthropic quiere que todos crean. En realidad, el 90% de esos 3600 dólares son tokens de entrada cacheados y, como mostró DeepSeek, pueden hacerse casi gratis.