1 puntos por GN⁺ 2024-11-27 | 1 comentarios | Compartir por WhatsApp
  • Es una API que hace que los agentes de IA en producción reciban aprobación o entrada humana antes de ejecutar tareas riesgosas, reduciendo la carga de operar con autonomía total
  • Lo central es enviar solicitudes de aprobación por Slack o correo electrónico, gestionar el estado de espera de respuesta y la trazabilidad de auditoría, incorporando a una persona dentro del flujo de ejecución del agente
  • El producto surgió de la experiencia de que los clientes se resistían a que agentes de automatización para equipos de datos accedieran directamente a sistemas de producción
  • El SDK funciona en la capa de llamadas a herramientas, por lo que puede usarse con frameworks como CrewAI y LangChain, así como con modelos de lenguaje que soportan tool calling
  • Cuanto más ejecuta tareas reales un agente, como un AI SDR, un boletín de IA o un agente de DevOps, más importante es definir con claridad los puntos de aprobación y los canales para pedir ayuda

Flujos de aprobación humana necesarios para agentes en producción

  • HumanLayer es una API que permite a los agentes de IA solicitar retroalimentación, entrada o aprobación de una persona durante la ejecución
  • El objetivo es permitir insertar un enfoque de human-in-the-loop en cada paso riesgoso al desplegar sistemas de IA autónomos o headless en producción
  • El punto de partida fue la experiencia de crear agentes de IA para equipos de datos
    • Se intentó automatizar tareas tediosas como eliminar tablas sin uso
    • Los clientes se oponían a que un agente de IA accediera directamente a sistemas de producción
  • Para lograr confiabilidad de nivel producción, se necesitaban evaluación, fine-tuning e ingeniería de prompts según el nivel de riesgo de cada tarea, pero llegar a una confiabilidad superior al 99.9% podía tomar más de 3 meses
  • Al final, se creó un flujo de aprobación como “preguntar por Slack antes de borrar una tabla”, y luego también surgió la necesidad de guardrails para evitar que la solicitud de aprobación llegara a la persona equivocada

Funciones y forma de integración

  • Al integrar el SDK de HumanLayer, un agente de IA puede solicitar aprobación humana en cualquier punto de su ejecución
    • Enruta la solicitud a la persona adecuada por Slack o correo electrónico
    • SMS y Teams estarán disponibles próximamente
    • Gestiona el estado mientras espera la respuesta
    • Proporciona una trazabilidad de auditoría completa
  • Además de las “solicitudes de aprobación”, también soporta una función más general de human as tool
    • Puede exponerse al LLM o al framework de agentes como una herramienta para recopilar respuestas humanas
    • Un ejemplo sería una pregunta general del tipo “me atoré con este problema, ya probé estas cosas, por favor dame consejo”
  • Como funciona en la capa de llamadas a herramientas, puede usarse con frameworks como CrewAI y LangChain, así como con modelos de lenguaje que soportan tool calling
    • Si se está construyendo un loop propio de agente y herramientas, es posible gestionar directamente el flujo de aprobación con primitivas de menor nivel del SDK
    • También están explorando usos no solo para aprobaciones IA-humano, sino también humano-humano

Casos de uso y forma de oferta

  • Varios agentes en producción aprovechan los flujos de aprobación de HumanLayer
    • Un cliente creó un AI SDR que redacta correos de ventas personalizados, pero recibe aprobación humana por Slack antes de enviarlos
    • Otro cliente lo usa en un boletín de IA donde los suscriptores pueden interactuar con el contenido y con correos electrónicos
    • Un equipo lo aplicó a un agente de DevOps orientado a clientes para gestionar revisión de PR, planificación y ejecución de migraciones de base de datos, aprobación humana en pasos clave y solicitud de ayuda al equipo cuando surge un problema
  • Se ofrece mediante SDK para Python y TypeScript, prueba gratuita, nivel gratuito y precios basados en uso
    • Para equipos que crean agentes orientados a clientes, ofrecen white labeling, funciones adicionales y soporte prioritario
    • La documentación está disponible en humanlayer.dev/docs

1 comentarios

 
GN⁺ 2024-11-27
Comentarios de Hacker News
  • Hay opiniones de dueños de startups que quieren usar IA para crear servicios internos por su cuenta. Creen que sería mejor usar SaaS, pero que los precios son altos y no es algo sencillo. Consideran que, si aparece competencia, los precios bajarán

  • Hay preocupación por el alto costo de los servicios de IA, y opiniones de que hace falta ofrecer créditos gratuitos o ajustar los precios

  • Hay preocupación por el sesgo de automatización y la complacencia con la automatización, con el riesgo de que las personas aprueben sin cuestionar las decisiones de la IA

  • Se propone la idea de usar agentes humanos para encargarse de tareas que los agentes de IA no pueden realizar

  • Se señalan problemas en los frameworks para manejar llamadas a herramientas asíncronas o de larga duración. Hay ideas para resolverlo, pero se tratarán en otra publicación

  • Hay opiniones de que hace falta esforzarse para mantenerse en la capa de la API

  • Hay opiniones de que, en las primeras etapas de la IA, los humanos realizaban la lógica y luego, al quitarlos, la calidad se deterioró. Se plantea la analogía de que una empresa tercera vuelva a incorporar humanos como una solución temporal para resolverlo

  • En las startups se valora la intervención humana, y se considera que hacen falta control y supervisión para convertir el potencial basado en LLM en valor real. Para ello, se construyeron workflows personalizados y procesos manuales

  • Hay opiniones de que muchos sistemas ya permiten servicios que ofrecen funciones básicas de entrada y salida. Se cree que vale la pena probarlos antes de implementarlo directamente

  • En una empresa de dispositivos médicos están considerando IA como agente de workflow, y planean usar LLM para respaldar procesos de aseguramiento de calidad ISO13485. Quieren conocer la opinión de otros usuarios de HN al respecto