Los pesos abiertos se están cerrando silenciosamente, y eso es un problema

 (martinalderson.com)
1 puntos por GN⁺ 1 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Los modelos de pesos abiertos permiten que cualquiera ejecute directamente un LLM en su propio hardware, lo que ofrece protección para datos sensibles, flexibilidad para ajuste fino y cuantización, y menores costos de inferencia frente a los modelos frontier
  • Los modelos de institutos chinos como MiniMax, Z.ai, DeepSeek y Qwen son considerados modelos líderes de pesos abiertos, mientras que Gemma de Google y gpt-oss de OpenAI suelen evaluarse como opciones por detrás de ellos
  • Los modelos de pesos abiertos ejercen presión a la baja sobre los precios de laboratorios frontier como OpenAI, Anthropic y Google, ya que la posibilidad de cambiar a alternativas baratas frena conductas de precios oligopólicas
  • Recientemente, Meta dejó de publicar modelos en su más reciente “Muse Spark”, Alibaba ha aumentado sus lanzamientos con prioridad de API o solo por API, y Kimi K2.6 y Mistral también muestran una tendencia a imponer condiciones de licencia más estrictas
  • Si un ecosistema competitivo de pesos abiertos se debilita, unos pocos laboratorios frontier y algunos institutos chinos podrían capturar una mayor parte del excedente del consumidor de los usuarios de IA, y la destilación tampoco sería una solución fundamental porque requiere acceso a modelos base potentes

El papel de los modelos de pesos abiertos

  • En el mercado de los LLM han coexistido modelos cerrados y modelos de pesos abiertos (open weights)
    • Los modelos cerrados incluyen, pese a su nombre, casi todos los modelos de OpenAI
    • Los modelos de pesos abiertos han sido publicados por otros laboratorios, y la serie Llama era su ejemplo representativo
    • Más recientemente, modelos de institutos chinos como MiniMax, Z.ai, DeepSeek y Qwen (Alibaba) son vistos como los principales modelos de pesos abiertos
    • La serie Gemma de Google y los modelos gpt-oss de OpenAI suelen evaluarse como inferiores a los modelos chinos
  • Los modelos de pesos abiertos permiten que cualquiera los ejecute directamente en su propio hardware
    • Los modelos que realmente valía la pena ejecutar normalmente requerían hardware muy potente
    • Esa condición está cambiando rápido a medida que los modelos más pequeños se vuelven mucho más útiles
  • Ejecutarlos localmente tiene tres ventajas frente a enviar solicitudes por API a proveedores como OpenAI, Anthropic o Google
    • Si es difícil o imposible enviar datos sensibles a los centros de datos de laboratorios frontier, ejecutarlos on-premise permite que los datos no salgan de la red
    • Se gana flexibilidad porque el modelo puede usarse con ajuste fino o cuantizarse para adaptarlo a condiciones específicas de hardware
    • Si se usa hardware propio, solo hay que considerar gasto de capital en hardware, electricidad y costos operativos; incluso usando un proveedor de hosting, el costo por token suele ser menos del 10% del de los modelos frontier

Presión de precios y disciplina del mercado

  • Los modelos de pesos abiertos aportan una considerable presión a la baja sobre los precios para los laboratorios frontier
    • Esto se parece vagamente a la teoría de los contestable markets: incluso en mercados monopólicos u oligopólicos, si existen alternativas baratas y confiables, los incumbentes se comportan de forma competitiva
    • Estrictamente, esa teoría asume costos hundidos cercanos a cero, y el entrenamiento de modelos frontier está cerca del extremo opuesto
    • Aun así, se mantiene el mecanismo central: la posibilidad potencial de que los consumidores cambien de opción disciplina los precios
  • Los modelos frontier pueden cobrar más por su mayor calidad y por ventajas contractuales
    • Los usuarios pueden estar dispuestos a pagar mucho más por un mejor modelo
    • Un contrato de inferencia con una empresa de alrededor de 1 billón de dólares tiene un valor distinto a usar OpenRouter como proveedor barato de inferencia
    • OpenAI y otros ofrecen compromisos legalmente vinculantes sobre aspectos como SLA y confidencialidad
  • Pero los modelos de pesos abiertos sí funcionan como una presión suficiente para dificultar conductas de precios oligopólicas
    • Si los laboratorios frontier subieran sus precios 5 veces de la noche a la mañana, muchos usuarios podrían cambiar a modelos de pesos abiertos, especialmente en casos de uso menos exigentes
    • En términos de comportamiento de precios, los modelos de pesos abiertos cumplen un rol parecido al de los medicamentos genéricos
    • Cuando existen genéricos, las grandes farmacéuticas bajan sus precios mucho más cerca del precio del genérico y se enfocan en nuevos tratamientos que vayan un paso por delante para sostener los precios
  • Sin modelos de pesos abiertos, el poder de fijación de precios de los laboratorios frontier podría ser mucho mayor que hoy

Cambios en licencias y formas de publicación

  • La disponibilidad de modelos de pesos abiertos no es algo garantizado
    • Entrenar modelos cuesta mucho, y las empresas que los crean son compañías comerciales
    • Incluso si probablemente reciben mucho subsidio estatal chino, no son organizaciones benéficas
  • Recientemente, las condiciones de licencia de los modelos de pesos abiertos muestran una clara tendencia a endurecerse
    • Meta abandonó por completo los pesos abiertos en su modelo más reciente, “Muse Spark”, y no publicó el modelo en absoluto
    • Alibaba publica cada vez más modelos primero por API, o en algunas variantes únicamente por API
    • La licencia de K2.6 de Kimi añade una cláusula de atribución que exige mostrar de forma visible “Kimi K2.6” en la interfaz para productos con más de 100 millones de usuarios activos mensuales o más de 20 millones de dólares en ingresos mensuales
    • La francesa Mistral también impone varias condiciones de licencia para uso comercial
  • Hay excepciones
    • DeepSeek, por el contrario, se está moviendo hacia una dirección más permisiva
    • Pero la tendencia general es hacia licencias menos permisivas, y Meta y Alibaba se están moviendo hacia dejar de publicar parte o la totalidad de sus modelos

La estructura de mercado que podría surgir con la contracción de los pesos abiertos

  • Dentro de un año, podría darse una situación en la que la mayoría o incluso todos los modelos de más alto nivel que antes se habrían publicado como pesos abiertos ya no se publiquen
    • Por ahora, esto es una hipótesis
    • Las comparaciones de precios entre modelos podrían seguir existiendo
    • Pero si los costos y la complejidad del entrenamiento siguen aumentando, podrían quedar solo unos pocos jugadores
  • La composición posible del mercado podría reducirse a los tres grandes laboratorios frontier de Occidente y algunos institutos chinos
    • También es posible que los institutos chinos se integren mediante “fusiones” impulsadas por el Estado en uno o dos “superlabs” chinos
    • Hay muchos precedentes de este tipo de integración en industrias estratégicas
    • China ha usado este enfoque en ferrocarriles (CRRC), energía nuclear, aerolíneas y telecomunicaciones
    • Occidente tampoco es una excepción, con casos de consolidación de contratistas principales de defensa desde después de la Guerra Fría
  • Ese cambio permitiría que unas pocas empresas capturen el excedente del consumidor generado por la IA
    • Los usuarios de IA están obteniendo un valor mucho mayor que el costo por token
    • Puede considerarse que el valor es tan alto que muchos pagarían 10 veces el precio actual sin dudarlo
    • En trabajos especializados de alto valor o tareas tipo agente, la brecha entre lo que realmente se paga y la disposición a pagar es aún mayor
    • Un oligopolio sin el piso de precios que aportan los pesos abiertos queda en posición de convertir esa brecha en ganancias
  • En teoría económica, en un mundo así el poder y la riqueza económica podrían concentrarse históricamente en unas pocas empresas
    • Los laboratorios podrían empezar a extraer directamente el excedente del consumidor como margen
    • Debido al oligopolio de pocas empresas y a la enorme barrera de entrada del gasto de capital necesario para nuevos modelos, es probable que la competencia en precios sea limitada

Posibles objeciones y riesgos que permanecen

  • También es posible que la visión pesimista sea exagerada
    • Si el hardware avanza más rápido, con el tiempo podría volverse más fácil entrenar modelos “lo suficientemente buenos”
    • Aunque hay pocos fabricantes de hardware para IA, en ese mercado sí está apareciendo una competencia intensa
  • La destilación (distillation) se menciona como salida, pero no es una solución fundamental
    • La destilación consiste en entrenar modelos más pequeños con las salidas de modelos frontier
    • Pero primero hay que tener acceso a modelos base potentes
    • El elemento que está en riesgo precisamente es ese acceso a modelos base potentes
  • Un ecosistema competitivo de pesos abiertos ha sido una premisa silenciosa de soporte de carga bajo toda la economía de la IA
    • Vale la pena prestar atención al hecho de que esta premisa se está debilitando
    • Las implicaciones para la economía en general son enormes

Términos y aclaraciones complementarias

  • Un modelo de pesos abiertos es una categoría en la que solo se publica el modelo final
    • Técnicamente, puede dividirse en tres categorías: modelo cerrado, modelo de pesos abiertos y modelo completamente abierto o reproducible
    • Un modelo completamente abierto o reproducible también incluye los datos de entrenamiento y la documentación de los procedimientos de entrenamiento relacionados
    • Esa categoría es la más parecida a lo que en software se llama open source
  • OpenRouter actúa como una “API de APIs”
    • Enruta las solicitudes al proveedor de inferencia más barato o con mayor disponibilidad para un modelo específico
    • Si un proveedor tiene un problema, puede cambiar de inmediato a otro, aumentando mucho la confiabilidad
    • Si aparece un proveedor más barato, cambia hacia ese

Lecturas relacionadas

1 comentarios

 
GN⁺ 1 시간 전
Opiniones de Lobste.rs

  • Este texto es inexacto sobre Kimi. Algunas empresas ponen restricciones fuertes y aun así lo llaman “modified MIT”, pero Kimi K2.6 just has an advertising clause, nada más. Sería mejor que no la tuviera, pero no me parece algo tan grave como para exagerarlo
    El artículo afirma que Kimi prohibió usar el modelo de pesos abiertos en productos con más de 100 millones de usuarios activos mensuales o más de 20 millones de dólares de ingresos mensuales, pero la licencia real de K2.6 lo que exige es mostrar “Kimi K2.6” de forma visible en la UI de esos productos o servicios
    Sí es cierto que algunas empresas están reduciendo la publicación de pesos abiertos, pero también hay otras como Xiaomi, DeepSeek, Moonshot y Z.ai que están lanzando modelos grandes de pesos abiertos competitivos. Del lado de los modelos pequeños, también es positivo que Gemma 4 haya pasado a Apache, una licencia abierta estándar
    Es válido plantear esta preocupación, pero por ahora todavía parece más una dinámica donde las empresas que se retiran de los pesos abiertos están siendo reemplazadas por nuevas que entran o por otras que migran hacia licencias más tradicionales

    • Como autor, me parece una observación válida y ya actualicé el texto. Creo que lo confundí con lo de Cursor Kimi, así que el señalamiento es correcto
      Será interesante ver qué pasa de aquí en adelante. No lo incluí porque el texto ya era largo, pero creo que estas empresas necesitaban modelos de pesos abiertos para realmente llamar la atención. Si vemos casos como Grok, que aun con capacidad de cómputo y precios agresivos tiene poca adopción, probablemente les habría sido muy difícil al menos conseguir reconocimiento global
      Dicho eso, los modelos chinos tampoco tienen tanto cómputo para inferencia como xAI. Ahora que la calidad de los modelos mejoró, el incentivo para cerrarlos aumentó, aunque también puede ser que siga siendo un mundo donde siempre aparezcan nuevos entrantes

  • Me hace preguntarme cuál sería el incentivo de mercado para publicar modelos de lenguaje grandes de pesos abiertos
    Nvidia on Hugging Face publica algunos modelos, y parece que están apostando a que si la gente ejecuta modelos de lenguaje grandes localmente en vez de usar servicios por suscripción, venderán más GPUs
    Si se reduce la publicación de modelos de pesos abiertos, quizá los grandes proveedores de inferencia podrían crear una fundación de pesos abiertos similar a la Linux Foundation, para coordinar la obtención de datos de entrenamiento, el entrenamiento y el ajuste fino. Sin un modelo competitivo que ofrecer, a estas empresas también les costaría sostener su negocio

    • En algún lado leí una teoría según la cual, cuando se acabe la ley de Moore, aumentarán los electrónicos más abiertos y reparables. La lógica es que, mientras exista un incentivo para mantenerse en la frontera tecnológica, las empresas querrán esconder sus secretos; pero si esa frontera deja de avanzar, ya no competirán por funcionalidad y todos los productos del mercado terminarán siendo parecidamente buenos, así que ese incentivo desaparece
      No sé si los proveedores de inferencia actuales llegarán a impulsar una fundación de pesos abiertos. Pero si los modelos de lenguaje grandes chocan contra una pared en unos años, del lado de los clientes sí podría aparecer claramente ese incentivo. Algo como: “¿Por qué le estamos pagando 5 mil millones de dólares al mes a OpenAnthropic por algo que podríamos hacer nosotros mismos?”

  • Hay comentarios aquí que refutan parte de esto, pero quisiera agregar algunas cosas más
    Está claro y es una lástima que Alibaba haya adoptado un enfoque algo menos open-first con Qwen, pero en la práctica la brecha no es tan grande. Los modelos de la familia Max y muchos modelos especializados ya eran solo API desde el principio, y hoy el principal modelo solo-API es más o menos “Plus”, con unos 400B parámetros. Históricamente tampoco fue un modelo espectacular para su tamaño
    Los modelos pequeños que la mayoría identifica como Qwen siguen estando publicados. El calendario de publicación se siente un poco más disperso, pero las publicaciones de Qwen siempre han sido algo desordenadas
    El Qwen 3.6 Plus mencionado como modelo cerrado está disponible mediante una alianza exclusiva y available on Fireworks. No sé si la idea es permitirlo también a organizaciones que quieren servidores locales en propiedad, pero será interesante ver si este tipo de esquema se vuelve más común
    “Muse Spark” de Meta es una familia de modelos prácticamente distinta, de un equipo diferente al de LLaMa, así que parece más correcto verla como un producto separado que como un caso donde se “abandonaron” los pesos abiertos
    La cláusula de atribución de Kimi K2.6 no fue algo “agregado” recientemente, sino que the clause has been there since the original K2. DeepSeek también viene usando una licencia MIT normal desde R1 y V3 0324
    Incluso recientemente hubo varias publicaciones reales y muy visibles de pesos abiertos, como la familia MiMo v2.5, GLM 5.1 y Gemma 4. Eso sí, aunque la línea principal de GLM es de pesos abiertos, varias versiones ajustadas como la familia “Code” son propietarias, y la actualización 2603 de Step 3.5 Flash también parece propietaria. Aun así, release their SFT training data, así que cuesta criticarlos demasiado
    A veces también hay retrasos en la publicación, y ese fue el caso de MiMo v2.5/Pro y GLM 5.1. Pero gracias a eso, a veces también llega listo el soporte en SGLang/vLLM justo al salir. MiniMax M2.7 sí pasó a una much more restrictive license, y creo que eso fue lo que se confundió con Kimi
    El enfoque de “primero ganemos algo de dinero vía API y luego lo publicamos” sigue siendo bastante generoso si se considera lo caro que es desarrollar estos modelos, y al menos por ahora parece que la industria está conforme con ese equilibrio

  • GLM 5.1 es un modelo de pesos abiertos muy competitivo que se publicó el mes pasado bajo licencia MIT. Varias empresas ya lo ofrecen como servicio. Lo hace Z.ai y, como otras empresas chinas, podría agregar restricciones después, pero por ahora no tiene ninguna

    • Para quien tenga curiosidad: pesa 1.51TB: https://huggingface.co/zai-org/GLM-5.1/tree/main
    • Lo estoy usando con OpenCode a través de un proveedor europeo, y definitivamente puede competir con Claude. Espero que en un futuro cercano podamos liberarnos por completo de la dependencia de las grandes corporaciones
      Algunas personas asumen que todos los modelos chinos fueron “destilados” en cierta medida a partir de modelos grandes como GPT o Anthropic. No sé si eso sea cierto y tampoco me importa demasiado. De cualquier forma, creo que este tipo de modelos debería estar en el dominio público, y me alegra ver que vamos rápido en esa dirección

  • Últimamente he pensado que podría crecer la popularidad del negocio de licencias de modelos de IA. La idea sería pagar una cantidad fija para obtener el derecho a usar el modelo y luego ejecutarlo directamente en tu propio hardware. Se parece un poco al esquema de precios de Photoshop
    Así se podría evitar el problema de filtrar información sensible, y al mismo tiempo el creador del modelo seguiría cobrando. También tendría la ventaja de ser una tarifa plana, en vez de un cobro por token potencialmente muy caro. Claro, el hardware se pagaría aparte

    • En el futuro, creo que podrían publicar modelos de pesos abiertos, pero con una licencia que impida grabarlos en silicio. Y luego vender chips así: https://taalas.com/products/

  • Kimi K2.5 es, hasta ahora, el que mejor me ha funcionado, y no me molesta no tener que actualizarlo