Ailoy: herramienta fácil para crear agentes de IA on-device
(github.com/brekkylab)Es una biblioteca llamada ailoy que facilita mucho la creación de agentes con LLM.
Tiene dos versiones, para python y javascript(node), y nos atrevemos a decir que es la más fácil entre las herramientas que existen hoy.
La ventaja es que se puede crear incluso sin ser especialista en machine learning.
Como al final Google, OpenAI y Anthropic buscan que se usen mucho sus API, lo que termina siendo un gasto enorme, intenté hacer posible ejecutar agentes de IA on-device.
Si entran por el enlace de GitHub o Discord, les ayudaré con cualquier problema que tengan. ¡Pruébenlo y les agradeceré mucho si dejan su opinión!
4 comentarios
Tengo curiosidad por saber, aunque el tamaño del modelo es pequeño, qué tan bueno es el rendimiento en la práctica.
Definitivamente se siente algo por debajo en comparación con la serie GPT o con DeepSeek R1. El modelo de 30B sí es bastante bueno, pero la desventaja aquí es que, para usarlo on-device, necesitas una GPU como la 5090....
Por eso, si quieres una optimización de tokens manteniendo un rendimiento similar al de los modelos de OpenAI, me parece que lo mejor es un enfoque híbrido: usar OpenAI y dejar las tareas sencillas para un modelo local.
Aun así, no es al punto de que no se pueda usar, y me da la impresión de que, si no son tareas complejas, para cosas como traducción o resúmenes no hay una diferencia tan grande... jaja
Entiendo ^^ Gracias por la respuesta.