Las desventajas de cambiarse a modelos abiertos no son tan grandes

 (marble.onl)
1 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • En el trabajo técnico, los LLM abiertos todavía implican costos de rendimiento, compatibilidad y confianza, pero últimamente la brecha se ha reducido y cada vez hay más margen para depender menos de modelos propietarios como Claude o GPT
  • Antes, Linux era riesgoso para el trabajo profesional por la compatibilidad con MS Office, los formatos de archivo especiales y un ecosistema open source inmaduro, pero con la expansión de las web apps y la maduración del ecosistema, ese sacrificio se ha reducido mucho
  • Al 21 de junio de 2026, los primeros puestos del Artificial Analysis intelligence leaderboard están ocupados por modelos API propietarios como Claude y GPT, y Claude code junto con las principales API siguen adelante en facilidad de uso y confianza dentro de las organizaciones
  • Los modelos abiertos pueden usarse a través de su proveedor o de terceros como OpenRouter, pero existen preocupaciones sobre privacidad y compartición de datos; si se ejecutan directamente, la privacidad mejora, pero aparecen costos, complejidad y penalizaciones de velocidad
  • La introducción de la verificación de identidad en Claude volvió a poner sobre la mesa el costo de dejar de usar modelos de primer nivel, pero como los modelos abiertos ya se acercaron hasta quedar a pocos meses de distancia del liderazgo, una baja temporal de productividad quizá no sea un obstáculo decisivo

La posición actual de los LLM abiertos vista desde el costo de cambiarse a Linux

  • Antes, usar Linux podía implicar un riesgo profesional incluso en trabajo técnico
    • Podía no renderizar correctamente documentos de Word o presentaciones de PowerPoint
    • Había situaciones en las que uno tenía que confiar en el resultado exportado por Open Office
    • La colaboración podía complicarse porque no siempre era fácil abrir formatos de archivo especiales
    • Los proyectos open source que intentaban seguirle el ritmo al software dominante tenían muchas asperezas
  • Hoy, gran parte del software de productividad se ofrece como web app, y Linux junto con el software open source han madurado, reduciendo la brecha
    • En áreas específicas, como el software CAD, todavía puede ser necesario Windows
    • Aun así, Linux y el open source ya no exigen el mismo gran sacrificio de antes en el trabajo general

Los costos que siguen asumiendo quienes usan modelos abiertos

  • Para los usuarios de LLM abiertos todavía queda una penalización clara
    • Al 21 de junio de 2026, Claude y GPT ocupan la parte alta del Artificial Analysis intelligence leaderboard
    • No solo en rendimiento: Claude code y las principales API también son fuertes en compatibilidad y facilidad de uso
    • Enviar consultas de LLM a OpenAI y Anthropic ya cuenta con un nivel de confianza que mucha gente considera aceptable
  • Las vías para usar modelos abiertos por API vienen con problemas de confianza
    • El servicio puede ofrecerlo directamente el proveedor del modelo o un tercero como OpenRouter
    • Resulta más inquietante, desde la perspectiva de privacidad y compartición de datos, enviar llamadas API que incluyan datos del cliente o información confidencial
    • Si se envían solicitudes a Deepseek u OpenRouter, pueden surgir más preocupaciones, independientemente del riesgo real
  • Ejecutarlos directamente reduce el problema de privacidad, pero agrega costos de costo, complejidad y velocidad
    • Pueden ejecutarse en local o en la nube
    • Ejecutarlos directamente implica al menos dos de estos problemas: ser caro, ser complejo o ser relativamente lento

La verificación de identidad de Claude como detonante del cambio

  • La introducción de la verificación de identidad de Claude aceleró la decisión de cambiarse
    • Las nuevas salvaguardas de los modelos recientes y la situación relacionada con Mythos también se perciben como señales de un deterioro en la experiencia de uso
    • Si no se acepta la verificación de identidad, la pérdida profesional por dejar de usar los modelos de gama alta sigue siendo el problema central
  • Se considera que el cambio hacia modelos abiertos está mucho más cerca que la brecha entre Linux y Windows en 2008
    • Ya existe un entorno donde se pueden ejecutar varios modelos abiertos, tanto en local como en la nube
    • También existen arneses de programación para modelos abiertos
    • Los modelos abiertos se han acercado muchísimo a los líderes y por lo general van con solo unos pocos meses de retraso
    • La productividad puede bajar a corto plazo, pero se considera que no es un obstáculo decisivo, como cuando en investigación uno cambia de Matlab a GNU Octave

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Opiniones de Hacker News

  • Justamente por eso en eurouter.ai usan las siguientes reglas de enrutamiento para todas las solicitudes

    {  
"model": "glm-5.2",  
"models": [  
"deepseek-v4-pro",  
"deepseek-v4-flash"  
],  
"provider": {  
"allow_fallbacks": true,  
"data_collection": "deny",  
"data_residency": "EU",  
"max_retention_days": 0,  
"eu_owned": true  
}  
}

    Aunque es caro, al menos en lo legal considero que la privacidad de los datos está garantizada. Confío más en eso que en Anthropic, OpenAI u OpenRouter
    Personalmente, me resulta moralmente difícil aceptar el uso de herramientas de IA de EE. UU., y no quiero pagarles para apoyar los crímenes en los que están implicados[1]
    [1]: https://news.ycombinator.com/item?id=48512339

  • Lo que choca con la línea roja de Anthropic es la expresión "of Americans". Entonces, ¿eso significa que con el resto del mundo civilizado pueden hacer lo que quieran? Da la impresión de que estaría bien desestabilizar a países aliados fuera de Estados Unidos mediante pruebas manipuladas o filtraciones de datos en el entrenamiento automático
    Lo más raro es que afirman que el modelo sigue https://www.anthropic.com/constitution y que ese contenido está incorporado al modelo. Pero los prompts del sistema de Claude Code y cowork vuelven a repetir estos puntos. Si de verdad estuviera integrado, no debería hacer falta
    Si haces suficiente prompt engineering con la versión API de Claude, puedes lograr que actúe como un simpatizante de Hitler, y eso contradice de frente lo que afirman. En particular, Opus 4.7 incluso generó propaganda dirigida a ciertos grupos minoritarios sin problema, aunque en 4.8 todavía no he visto el mismo resultado. Últimamente me interesa más el abuso de las capacidades cibernéticas del modelo, así que no he empujado tanto por ese lado
    Desde el principio, la conclusión fue que la estrategia de Anthropic es pura gestión de imagen, y viendo el apoyo que recibió la empresa, parece que les funcionó bastante bien

  • Revisé eurouter.ai y la propuesta en sí me parece bastante mala
    El precio de una sobretasa del 15% para la cuenta gratuita no tiene sentido, y si no pagas 40 € al mes tienes un límite de 1000 solicitudes mensuales. Pero no me queda claro qué valor exacto ofrecen
    Para DeepSeek-V4-Pro solo hay un proveedor, TensorX, y el costo de lectura de caché es más de 100 veces más caro que en DeepSeek ($0.44 vs $0.003625). En particular, en eurouter.ai no pude encontrar la información sobre el costo de los tokens en caché, así que tuve que ir hasta el sitio web de TensorX

  • Decir "crímenes" se queda corto
    "AI-assisted targeting in the Gaza Strip" - https://en.wikipedia.org/wiki/AI-assisted_targeting_in_the_G...
    "Palantir allegedly enables Israel's AI targeting in Gaza, raising concerns over war crimes" - https://www.business-humanrights.org/de/neuste-meldungen/pal...
    "What The Wounds Are Telling Us" - https://www.volkskrant.nl/kijkverder/v/2025/gunshot-palestin...

  • Me dio curiosidad por otras alternativas a OpenRouter, así que busqué un poco
    EURouter (Ámsterdam): https://www.eurouter.ai/pricing
    Eden AI (Francia): https://www.edenai.co/pricing
    nexos.ai (Lituania): https://nexos.ai/pricing/
    Requesty (Alemania): https://www.requesty.ai/pricing
    Cortecs (Austria): https://cortecs.ai/pricing
    Nordference (Estonia): https://nordference.ai/pricing
    De verdad parece que están brotando como hongos. No he usado ninguna directamente, así que no recomiendo ningún sitio, pero para quien lo necesite parece que sí hay opciones

  • Si la seguridad de los datos es una preocupación real, al final no parece haber otra salida que asumir el costo y alojarlo por cuenta propia

  • Es interesante que la gente descarte los modelos de pesos abiertos porque están "unos meses atrás" de los modelos propietarios.
    Sé que el ritmo de avance de los LLM es increíblemente rápido, pero si de verdad Opus y GPT de hace unos meses estuvieran al nivel de los modelos de pesos abiertos actuales, no habría razón para no cambiarse. Especialmente para quienes ya usaban esos modelos desde hace meses.
    El codebase no cambió, así que simplemente se pueden usar modelos de pesos abiertos. No hay que mover el arco

    • Cada nuevo modelo propietario se promociona como algo “revolucionario” y como que “resolvió una tarea X que los demás modelos no podían resolver”, pero un mes después ya lo llaman un modelo malo de la generación anterior.
      Por eso no veo ningún problema en usar Kimi-2.7, GLM-5.2 o Deepseek-v4. Ya se ha llegado bastante al techo, y ahora la mayoría de las mejoras parecen venir de mejoras en el harness que hacen un poco mejor el razonamiento o el tool calling, y de un aprendizaje por refuerzo apenas mejor
    • He probado mucho con modelos abiertos, pero ya me cansé de escuchar eso de que “solo están unos meses atrás”.
      Todavía no estoy convencido de que incluso el mejor modelo de pesos abiertos esté al nivel de Opus de hace unos meses. Sé lo que dicen los benchmarks y también tenía grandes expectativas, pero la experiencia real de uso no coincidió con los benchmarks.
      Hago muchas tareas con las que incluso Opus 4.8 batalla. Mientras ni siquiera los LLM de punta hayan llegado completamente ahí, no me nace la motivación de pasarme a modelos todavía más rezagados
    • La única razón por la que estoy leyendo esto en HN ahora mismo es por una caída del API de Anthropic, así que eso también es un punto a favor del self-hosting
    • Más que decir que están “unos meses atrás”, quizá una forma un poco más precisa de decirlo es que el criterio importante probablemente sea si fue antes o después de Claude Opus 4.5 del 24 de noviembre de 2025. Ese fue el modelo que desató la fiebre de OpenClaw en Navidad
    • En la empresa usamos un proveedor de Deepseek V4 flash, y en la práctica resuelve el 95% del trabajo por una décima parte del costo. Sí sacamos un modelo más potente de vez en cuando, pero solo después de pensarlo una vez más.
      El foso competitivo es tan plano que apenas da +1 comida y +1 producción. Si hay carreteras, +1 oro

  • Lo sorprendente de estos modelos es que, en esencia, destilaron internet en una forma que cabe en una máquina local, y se le puede consultar en lenguaje natural.
    La tecnología y el hardware están mejorando más rápido que el crecimiento de la base de conocimiento que hay que destilar, así que parece inevitable que existan modelos locales realmente útiles

  • La actitud de este texto me parece bastante sorprendente. Por un lado, empieza hablando de adoptar Linux y otro software libre y de código abierto, pero el núcleo del FOSS es permitir que el usuario entienda y modifique el software que ejecuta.
    Sin embargo, el resto trata sobre usar LLM que son herramientas que su autor no tiene forma de modificar ni de entender. Una matriz gigante de punto flotante, en el mejor de los casos, apenas se puede comparar con código compilado, y de hecho a veces es más fácil entender software propietario descompilándolo.
    Además, en la mayoría de los casos, incluso para ejecutar modelos “abiertos” se necesita hardware imposible de costear. No sé cómo un espacio que alababa la libertad del software terminó llegando hasta aquí

  • El título lo afirma de forma tajante, pero en el cuerpo dice “espero que se minimicen”.
    Uso varias suscripciones, pruebo distintos proveedores de LLM por token a través de OpenRouter, y también corro modelos de pesos abiertos en local.
    Por ahora me cuesta estar de acuerdo. Los modelos de Anthropic y OpenAI de verdad son mucho mejores que los demás. Los modelos de pesos abiertos, en general, parecen estar demasiado optimizados para benchmarks, y la experiencia real es muy distinta de lo que esos benchmarks sugieren.
    Cuando digo esto, seguido me llenan de downvotes porque no es la realidad que la gente quiere escuchar ahora mismo, pero en tareas complejas es cierto.
    Creo que, en manos de un usuario experimentado, bastantes tareas fáciles sí se pueden resolver suficientemente bien con modelos de pesos abiertos. Si es trabajo que podrías delegarle a un junior con un poco de supervisión, entonces casi cualquier modelo sirve.
    Pero en muchas de las tareas que hago, incluso Opus 4.8 Max requiere supervisión constante, orientación y revisión. Con Fable también pasaba, aunque en menor medida.
    Cuando pruebas modelos grandes de pesos abiertos, en local no logras velocidades razonables con un nivel de cuantización tolerable, así que terminas usándolos hospedados, y en trabajos grandes se siente más largo el tiempo de quemar tokens esperando una salida que al final probablemente vas a descartar. Ojalá ya estuviéramos en ese nivel, pero todavía no

    • ¿Tienes ejemplos?

  • Claude empezó a volverse realmente utilizable para programación a partir de 4.6. Después siguió habiendo extras útiles, pero si 4.6 Sonnet y Opus hubieran sido de pesos abiertos, no creo que hubiera necesitado más.
    Esa idea se me reforzó un poco al usar Fable

  • Quería familiarizarme más con la inferencia local, pero como no tengo hardware, me hizo pensar en algo como una cooperativa local, de lo que casi no he visto discusión.
    Viéndolo desde la economía, parece que podría tener sentido que varias personas se junten para operar buen hardware y modelos abiertos, pero nunca he visto hablar de eso. Me pregunto si me perdí de algo.
    Estaría bastante bueno crear un servicio que ayude a encontrarse entre sí a quienes quieran participar en algo así

    • La razón por la que no ves mucho de eso es que todos hacen las cuentas, se dan cuenta de que no es un buen negocio, y lo dejan.
      Justo ahora en la parte alta de /r/localllama hay una publicación sobre exactamente ese cálculo: https://www.reddit.com/r/LocalLLaMA/comments/1ubrcwj/tokenom...
      En resumen, correr GLM 5.2 cuesta como mínimo unos 20 mil dólares, y además sería dolorosamente lento comparado con la versión hospedada en la nube. Incluso suponiendo que el servidor calcule tokens las 24 horas del día, tomaría años llegar al punto de equilibrio.
      La única razón para correrlo en local es cuando la privacidad total de los datos es la prioridad máxima. Es básicamente pagar una prima alta por eso
    • Hay muchos lugares que ofrecen modelos abiertos a tarifas muy baratas. En general recomendaría revisar OpenRouter, que rastrea varias métricas de muchos proveedores
    • https://news.ycombinator.com/item?id=48524387
    • ¿¿Modelos abiertos hospedados en la nube???

  • Sí, pero OpenAI cuesta lo mismo. z.ai cobra 18 dólares al mes; ¿por qué pagaría eso si OpenAI cuesta 20 dólares al mes?

    • Una gran ventaja que veo es que la gente les toma cariño a los modelos. Yo también. Con los modelos abiertos, si encuentras un modelo que te queda perfecto pero la siguiente versión sale peor, puedes seguir ejecutando la versión anterior para siempre. Ya sea por tu cuenta o porque alguien más lo haga por ti
    • Una razón podría ser el límite de solicitudes. ChatGPT Plus w/Codex de OpenAI (20 dólares al mes), en el peor de los casos, tiene un límite de solicitudes de 5 horas de 15 para GPT-5.5, 20 para GPT-5.4 y 60 para GPT-5.4-Mini
      En cambio, Z.ai Lite (18 dólares al mes) ofrece unas 80 para GLM 5.2 en el peor de los casos. Eso es en horario de baja demanda, y la hora pico es de 2 a 6 a. m. de Nueva York. Así que Z.ai puede dar un límite más alto a un precio más bajo
      (https://codeberg.org/mutablecc/calculate-ai-cost/src/branch/...)
    • https://news.ycombinator.com/item?id=48618455
    • OpenCode Go cuesta 10 dólares al mes, y su límite también es mucho más generoso que esos o que Codex
    • Parece que ya no lo especifican en la página de precios, pero el plan de programación de z.ai antes decía que tenía 3 veces más uso que el plan de Claude del mismo rango de precio. No sé si eso sea exacto, pero con solo ver los precios de la API, GLM es muchísimo más barato

  • Hubo una época en la que Linux era claramente capaz, pero para dejarlo pulido y agradable de usar hacía falta hackearle cosas y meterle trabajo extra, así que era fácil usar Linux como un rebelde
    Pero por mi experiencia, los modelos abiertos todavía no han llegado a ese punto ni en capacidad ni en requisitos operativos. GLM5.2 sí parece capaz, pero para hacerlo correr a ese nivel probablemente haría falta un clúster enorme de GPUs
    Si vas a acceder a un modelo abierto mediante una API alojada, deja de ser distinto de usar un modelo cerrado mediante una API alojada. Comparado con cuando usaba Linux hace 15 años, el incentivo se derrumba
    No me malinterpreten. Quiero correr modelos locales y quedar satisfecho, pero todavía no es el momento

    • No es cierto que “si vas a acceder a un modelo abierto mediante una API alojada, es lo mismo que usar un modelo cerrado mediante una API alojada”
      El punto clave es que, como no lo controla una sola entidad, no te pueden hacer enshittification. Eso ya pasó, está pasando ahora y va a seguir pasando
      Si los pesos son abiertos, no te pueden arrastrar, bloquear o cortar el acceso tan fácilmente. Aunque una empresa intente hacerlo, alguien más con una granja de servidores puede aceptarte como cliente, y en tu flujo de trabajo lo único que cambia es la URL de la API y la clave
      Terminas hablando con el mismo modelo, con la misma personalidad y el mismo conocimiento

  • Estoy de acuerdo con parte de la idea general del texto, pero hay dos cosas
    Primero, en mis pruebas los modelos abiertos todavía no estaban al nivel de competir al menos con Claude Opus en desarrollo de software, ingeniería y tareas cercanas
    Segundo, hay que disfrutarlo mientras dure. Me sorprendería muchísimo si para finales de este año no declaran “ilegales” a estos modelos abiertos con el pretexto de la seguridad. Digo pretexto porque el principal motor sería la captura regulatoria y el proteccionismo industrial

    • Si prohíben modelos en EE. UU., solo fortalecen a estados rivales como China