Ollama Turbo

• Ollama Turbo es una nueva solución que permite ejecutar modelos de gran escala de código abierto rápidamente en hardware de centros de datos de alto rendimiento (US$20 al mes)
• Ollama permite usar su app, CLI, API y las librerías de JavaScript/Python sin cambios, y operar modelos grandes de forma rápida y eficiente
• Actualmente está en vista previa y soporta los modelos abiertos de OpenAI gpt-oss-20b y gpt-oss-120b
• Al usar el modo Turbo, el historial de consultas no se guarda en el servidor ni se deja en logs
• El hardware se opera solo en centros de datos de Estados Unidos, con límites de uso por hora y día, y pronto se implementará un sistema de facturación por consumo

[GN⁺]

Comentarios de Hacker News

• Me parece un lanzamiento excelente. Hoy, lo más difícil de usar modelos OSS en empresas viene de muchos factores: velocidad, costo, confiabilidad, paridad de funciones (por ejemplo, caché de contexto), rendimiento (como exactamente qué nivel de quant usan), región de hosting/garantías de privacidad de datos, LTS, etc. En la práctica, si quieres usar modelos OSS con un proveedor distinto de las tres grandes, tienes que evaluar tú mismo al proveedor en todos esos ejes, y ese proceso a veces requiere bastante especialización. Incluso puede que tengas que construir herramientas de evaluación a medida. En cambio, Anthropic, OpenAI y Google te dan una experiencia que simplemente “funciona”, y eso es lo que se está pagando. Quizá el precio sea un poco más alto, pero lo veo como el costo de que “se encarguen de todo”. A menos que los proveedores OSS trabajen en estandarización, aunque en teoría los modelos open source tengan el mismo rendimiento que los modelos cerrados, en despliegues a gran escala probablemente seguirán atrapados en una etapa intermedia en la que es difícil competir

  • Es cierto, pero usar a los grandes proveedores más conocidos también significa entregar todo tu tráfico de prompts sin ninguna protección legal real. Para más detalles sobre eso, ver este artículo relacionado

  • Los modelos gpt-oss solo se ofrecen en formato quant de 4.5 bits. Ese es el modelo original puro; no existe una versión fp16

• Hay gente que reacciona mal a que Ollama haga esto, pero en la práctica me parece la solución más fácil para desarrollar y probar modelos en local. Sí, llama.cpp es el verdadero motor y Ollama es una especie de wrapper. No querría usar Ollama en un servicio comercial real. Pero si personas con poco conocimiento técnico quieren desarrollar y ejecutar rápidamente por su cuenta un sistema con capacidades de LLM, el hecho de tener una GUI y poder instalarlo directo con un archivo .dmg es una gran ventaja

  • Gracias por el feedback. Después de la reciente actualización del motor multimodal, Ollama ya no es un simple wrapper de llama.cpp. Seguimos usando la biblioteca GGML y estamos optimizando el rendimiento junto con socios de hardware. Ollama puede parecer un juguete, pero invertimos muchísimo esfuerzo en mantener esa simplicidad. La simplicidad a menudo se pasa por alto, pero queremos construir el mundo que nos gustaría ver

  • Se comentó que no querrían usar Ollama en producción. En realidad, hicimos benchmarks de velocidad de arranque y tokens por segundo entre vLLM y Ollama, y Ollama obtuvo los mejores resultados. Ojalá podamos publicar pronto esos resultados

  • Si no puedes usar GPUs de datacenter de verdad y solo te es posible desplegar en desktop o del lado del cliente, entonces Ollama es la mejor opción. Esta situación no es común, pero en algunas organizaciones la realidad es que solo pueden usar desktops con una GPU 4090

• Pienso en Ollama como sinónimo de “local”, así que tengo curiosidad por ver qué pasa después

  • Hay una minoría de usuarios muy ruidosos que no confían en las grandes empresas, pero les parece bien pagar por servicios similares de compañías pequeñas. Me pregunto si de verdad esos usuarios pagarían por un servicio como Ollama

  • Se siente parecido a los servicios de cloud gaming. En general uno queda satisfecho con el uso local, pero a veces es más eficiente pasarle a otro el costo del hardware. Al final es una cuestión de elección, no de todo o nada

• Me gustaría saber más detalles concretos sobre eso de "Privacy first". Si solo enfatizan que “no almacenan los datos”, se siente insuficiente. Por ejemplo, cuando Draw Things ofrece “Cloud Compute”, también procesa todo solo en la RAM de cada solicitud y no guarda nada. Pero en lo personal tampoco me deja del todo satisfecho. Pronto van a agregar soporte para privacy pass, pero eso también tiene límites. Sería ideal contar incluso con logs de transparencia verificables desde hardware, aunque no sé por dónde empezar

  • No creo que trabajar con Ollama te dé una ventaja especial en privacidad. Ollama también podría vender datos o, si fuera necesario, verse obligado legalmente a entregarlos

  • No veo una política de privacidad, y la app de escritorio no es open source, así que no inspira confianza. [Por cierto, estoy construyendo una solución de llamadas a LLM con garantías de privacidad reales, como logs de transparencia]

  • Si permitieran ejecutar el modelo en Suiza o en un país que cumpla bien con GDPR, estaría dispuesto a pagar más aunque la latencia fuera un poco mayor. También me gustaría que la transferencia de datos se hiciera necesariamente con protocolos seguros como SSL

• Me pregunto si no sería mejor pagar los mismos 20 dólares y usar un modelo “superior” en OpenAI, en vez de usar un modelo “inferior” en Ollama

  • La principal ventaja de Ollama Turbo es que te deja probar directamente en la nube varios modelos que luego podrías ejecutar en local, siempre que tengas el hardware adecuado. Antes de gastar mucho dinero en comprar e instalar hardware potente por tu cuenta (mac studio, dgx, etc.), puedes probar rápido estos modelos abiertos y evaluar si te sirven. Los desarrolladores especializados en finanzas, salud y legal, donde la privacidad es crítica, suelen querer entornos on-premise y locales. Con este servicio pueden experimentar y desarrollar con datos no sensibles, y luego migrar a su propio hardware al pasar a producción

  • La ventaja es poder ejecutar el modelo libremente, sin filtros. OpenAI aplica filtros excesivos y ni siquiera te dice qué política violaste. Tienes que ir cambiando el prompt para comprobar tú mismo si infringe copyright, marcas registradas, etc., y últimamente a veces ni siquiera responde bien a preguntas simples. Quiero una versión del LLM sin “barandales”

  • No estoy seguro de que los precios de los modelos grandes se vayan a quedar en 20 dólares en el futuro. En cualquier caso, siempre espero que el mercado siga siendo competitivo

  • Parece que la razón principal es la privacidad de los datos, y también cabe esperar que el plan ofrezca más uso. Personalmente, para mí la privacidad de los datos es lo más importante

• Era algo previsible. La comunidad de inferencia local se está agrupando alrededor de Ollama, pero parece claro que la estrategia o las prioridades de largo plazo de Ollama no están ahí. Creo que hay que moverse rápido hacia alternativas

  • La biblioteca base de Ollama, llama.cpp, ya tiene funciones de servidor y es totalmente compatible con open-webui. De hecho, hace unos meses migré de ollama a llama-server y sigo usando exactamente la misma UI, así que no lo extraño para nada

  • Ollama es abierto y solo cobra a los usuarios que quieren GPUs adicionales. Como realmente existe un costo de GPU, me parece justo que cobren, y también creo que hace falta que esos ingresos ayuden a hacer crecer el núcleo del proyecto open source. Tiene que ser razonable hasta cierto punto, y si actúan con integridad, creo que pueden crear algo muy bueno

  • También existe el proyecto github.com/containers/ramalama con ese objetivo

  • Hugging Face también ofrece productos en la nube, pero eso no significa que no puedas descargar los pesos del modelo y correrlos localmente

  • Al final, querer un servicio gratuito de manera indefinidamente insostenible tiene sus límites. Si alguien quiere crear una alternativa open source, puede dedicarle su tiempo y construirla. Si no, también hace falta aceptar la realidad actual

• Me confunde por qué Ollama tomó esta decisión. Si no es por generar ingresos, parece como si hubiera presión de alguien. Su solución para lo local funcionaba muy bien y permitía desarrollar ideas más diversas, así que da pena que hayan hecho otro servicio en la nube. Sigo apreciando mucho a Ollama y espero que siga siendo igual de genial

  • El software open source es gratis al usarlo, pero crearlo nunca es gratis. Para mantenerlo gratuito y al día, alguien tiene que atender los issues de GitHub, y ese trabajo puede necesitar compensación

• Hay muchas cosas interesantes en esta noticia. Como motor representativo de modelos OSS locales, el hecho de que esta vez ofrezcan solo OSS desde el inicio se siente como una estrategia para aprovechar el momento del anuncio de hoy y la ola del OSS. El plan de suscripción también es interesante; otros jugadores lo están adoptando, pero sigue siendo raro en servicios basados en API. A largo plazo espero una guerra de precios en LLM, y que los servicios de API empiecen a tener suscripciones mensuales podría ser una señal de eso. Me pregunto si Ollama tiene recursos para sostener tanto el motor local como este nuevo servicio en la nube

• Dijeron que pronto habrá una “tarifa por uso”, y me parece el modelo perfecto para este tipo de servicio. Yo también le pago 20 dólares a Anthropic, pero personalmente no creo que use esto lo suficiente como para pagar lo mismo. Aun así, poder cargar distintos modelos al instante y compararlos me parece realmente útil. Ojalá al equipo le vaya muy bien

  • Un servicio de tarifa plana para LLM open source es algo bastante inusual. No creo que yo lo usaría, pero si aplican una tarifa por uso, tendrían que competir de inmediato con pesos pesados ya establecidos como deepinfra.com, novita.ai y openrouter.ai. Ollama tiene más reconocimiento de marca, pero esos servicios ya son muy competitivos en precio

  • Coincido en que una tarifa por uso saldrá pronto. Aun así, ya hay muchos proveedores que ofrecen varios modelos basados en OpenAI, así que me pregunto cuál es exactamente el diferenciador de Ollama. Ya existen muchas buenas interfaces donde usas tu propia API key

  • Una suscripción mensual de 20 dólares para acceso por API definitivamente se siente novedosa

• La suscripción para usar la API es un experimento realmente interesante. Su valor real probablemente dependerá de que se hagan públicos los límites de uso

  • Queremos seguir monitoreando los patrones de uso reales para construir una estructura de precios más adecuada con el tiempo