Últimamente he estado pensando en algo parecido, así que ayer escribí una entrada de blog sobre la deuda cognitiva. Parece que todos estamos haciéndonos preocupaciones similares.
Tengo una RTX Pro 6000 (96 GB, en la práctica 94 GB), pero el modelo 122B no carga con ollama. Parece que es por la parte que incluye el vision transformer, ya que es un modelo de visión. En cambio, el modelo GPT OSS 120b sí carga con bastante margen.
Gracias. Me asustó que saliera cowork, que hasta hace de servidor con solo dejar la PC encendida, pero esto me deja un poco más tranquilo y ya me ayuda a imaginar cómo podría cambiar todo en el futuro jaja.
¿Ahora por fin le decimos adiós al error EADDRINUSE?
Últimamente, como uno anda desarrollando de todo un poco con agentes y levantando cosas por todos lados, terminan chocando entre ellos y se arma un caos jaja
Pero el modelo en sí cambia en cuestión de unos meses,
y hay que ajustar los agents para que encajen con el modelo...
¿No será que los cambios del modelo van más rápido que el tiempo que toma crear una estructura de agents adecuada?
Al final, antes de que la gente se acostumbre a la herramienta, la herramienta ya cambió...
No soy desarrollador en absoluto... pero por lo divertido que es jugar con la IA la pongo a programar un poco, y resulta que generaba y guardaba un montón de código de pruebas que ni siquiera le había pedido; con razón era por algo como esto.
Cuando le pregunté para qué demonios hacía falta eso, me dijo que lo necesita cuando crea código y que no lo borrara.
Gemini también quedó bloqueado. Claude también.
Pero si pagas por usar la API, no hay problema.
No entiendo la lógica de algunos extranjeros que creen que autenticarse vía OAuth en un servicio de terceros para usarlo barato con una suscripción más económica no debería ser un problema.
Las personas tampoco son buenas eligiendo cosas al azar. No debería haber patrones, pero intentar evitarlos deliberadamente también puede considerarse un patrón.
Ya lo estaba haciendo con docker + traefik + mkcert, pero me parece que usar eso sería más cómodo.
Da tanto miedo lo bien que lo hace. No creo que sea bueno volverse cada vez más dependientes de esto... Tiene que haber competencia.
Lo está haciendo tan bien que Anthropic cada vez lo hace mejor.
Parece que está impulsando muchísimo a las demás empresas.
Últimamente he estado pensando en algo parecido, así que ayer escribí una entrada de blog sobre la deuda cognitiva. Parece que todos estamos haciéndonos preocupaciones similares.
Qué interesante. ¿Tienen planes de desarrollo a futuro?
Guau jajaja
Sí... cuando se usa un codificador de visión, incluso un modelo de 1B termina consumiendo 9 GB de VRAM.
Creo que Sam Altman podría ser un reptil sociópata.
"El acto de crear objetos físicos con las manos trae una transformación interior"
Tengo una RTX Pro 6000 (96 GB, en la práctica 94 GB), pero el modelo 122B no carga con
ollama. Parece que es por la parte que incluye el vision transformer, ya que es un modelo de visión. En cambio, el modelo GPT OSS 120b sí carga con bastante margen.Solo rinde bien si lo ejecutas con un servidor de
llama.cppbasado en CUDA.Gracias. Me asustó que saliera cowork, que hasta hace de servidor con solo dejar la PC encendida, pero esto me deja un poco más tranquilo y ya me ayuda a imaginar cómo podría cambiar todo en el futuro jaja.
Como salió el tema en X, dicen que si lo usas en Docker y le pones a la fuerza el PID del daemon de Docker, eso también funciona.
https://github.com/vercel-labs/portless/issues/61
Es un artículo útil.
¿Ahora por fin le decimos adiós al error EADDRINUSE?
Últimamente, como uno anda desarrollando de todo un poco con agentes y levantando cosas por todos lados, terminan chocando entre ellos y se arma un caos jaja
Pero el modelo en sí cambia en cuestión de unos meses,
y hay que ajustar los agents para que encajen con el modelo...
¿No será que los cambios del modelo van más rápido que el tiempo que toma crear una estructura de agents adecuada?
Al final, antes de que la gente se acostumbre a la herramienta, la herramienta ya cambió...
No soy desarrollador en absoluto... pero por lo divertido que es jugar con la IA la pongo a programar un poco, y resulta que generaba y guardaba un montón de código de pruebas que ni siquiera le había pedido; con razón era por algo como esto.
Cuando le pregunté para qué demonios hacía falta eso, me dijo que lo necesita cuando crea código y que no lo borrara.
Gemini también quedó bloqueado. Claude también.
Pero si pagas por usar la API, no hay problema.
No entiendo la lógica de algunos extranjeros que creen que autenticarse vía OAuth en un servicio de terceros para usarlo barato con una suscripción más económica no debería ser un problema.
Oh... sí, creo que tiene razón.
Las personas tampoco son buenas eligiendo cosas al azar. No debería haber patrones, pero intentar evitarlos deliberadamente también puede considerarse un patrón.