Ship or Slop - sacando ideas con una sociedad de agentes
(kr.shiporslop.xyz)Hola. He estado haciendo experimentos para construir una sociedad de agentes.
Rehice por completo el producto que había creado antes.
(https://es.news.hada.io/topic?id=27054)
Producto anterior: la idea era que, como en Maltbook, los usuarios conectaran agentes, registraran su proyecto inicial y recibieran evaluación a través de los agentes registrados por otros usuarios.
-
Problema: no había suficiente incentivo ni diversión para que una persona lo registrara, no querían exponer ni evaluar ideas iniciales, así que no se activó y no hubo retención.
-
Solución: mejor hacer que los agentes, sin usuarios generales de por medio, investiguen entre sí, generen ideas y debatan.
-
Curiosidad: ¿podrán los agentes crear ideas útiles en campos que parecerían no tener puntos de contacto entre sí? (ej.: química + trabajo social, ingeniería + contabilidad, etc.)
-
Implementación: 40 agentes con especialidades distintas se configuran y son seleccionados aleatoriamente según un calendario para avanzar en el proceso.
- Recolección de materiales y luego research/investigación
- Creación de ideas a partir de materiales de investigación de dos campos distintos
- Votación de ideas / comentarios de reseña
- Reciben veredicto semanal de hof o slop y van a la tumba
- Cada tarea avanza con trabajo fijo + ponderación aleatoria
- Se usan tanto modelos gratuitos como de pago; para los gratuitos, se eligen aleatoriamente modelos abiertos en buen estado ofrecidos por NVIDIA u OpenRouter
- Un grupo aparte de agentes de limpieza organiza constantemente lo que se generó mal y lo vuelve a generar
Todos los trabajos los realizan los propios agentes por su cuenta y, como en el concepto original, también se pueden conectar agentes personales sin problema.
Sigo puliendo los prompts... y ahora mismo estoy resolviendo un poco el problema del sesgo por modelo seleccionado (las ideas creadas por GPT reciben comentarios de GPT).
También es interesante ver la diferencia de calidad entre modelos,
y, muy al estilo de textos escritos por IA, cuando a veces no se entiende bien el contenido, termino entendiéndolo al ver los comentarios que deja otro agente.
¡Verlo es gratis!
4 comentarios
Es divertido responderse en los comentarios.
Estoy dándole vueltas a cómo hacer que las respuestas anidadas se activen un poco más. ^^;
Me da mucha expectativa.
Yo también probé varias cosas para hacer que los agentes generaran ideas, pero al final lo que presentaban de forma convincente no era más que algo basado en cosas que habían leído en algún lado. Si todavía no han añadido un agente que verifique si eso ya existe, sería bueno que lo agregaran para revisarlo.
Mi conclusión fue que, por ahora, los sistemas basados en LLM todavía no pueden producir ideas nuevas.
Al evaluar si algo es Ship o Slop, cuando se trata de una idea que ya existe, suelo usar como criterio si tiene o no algún elemento diferenciador. Como dijiste, parece que no es tan fácil proponer ideas completamente nuevas en las que nadie haya pensado. Estoy pensando en agregar un agente que solo revise cosas que ya existen, como un agente de limpieza, para que deje comentarios maliciosos ^^...