Show HN: Autotab - Genera scripts de Selenium con una extensión de Chrome impulsada por IA

• Autotab es una extensión de Chrome impulsada por IA que trabaja en el navegador local y apunta incluso a generar scripts de Selenium
• Los usuarios pueden transmitir flujos de trabajo mediante mensajes en video o documentos, y enseñar tareas a Autotab como si se las explicaran a una persona
• Ya se está usando en empresas Fortune 500 y compañías tecnológicas de rápido crecimiento para reducir cuellos de botella en contratación, onboarding y gestión
• Su alcance abarca tareas repetitivas basadas en navegador, como recolección de datos, llenado de formularios, envío de mensajes y activación de reembolsos
• Si no está claro si puede encargarse de una tarea, se puede enviar una grabación del proceso y recibir una respuesta en 24 horas; las empresas que evalúan reemplazar BPO pueden hacer una consulta por separado

---

Cómo aprende y ejecuta en el navegador local

• Autotab es un agente de IA de propósito general que aprende y realiza las tareas asignadas de una forma cercana a cómo trabaja una persona
• Las tareas se llevan a cabo en el navegador local del usuario, y este puede ver el proceso que realiza Autotab
• Ciertos flujos de trabajo pueden transferirse como si se hiciera un traspaso de tareas a otra persona

  • Capacitación basada en mensajes en video y documentos

    • Se puede indicar el procedimiento de trabajo mediante mensajes en video o documentos preparados
    • Incluso los flujos de trabajo complejos se transmiten de una manera alineada con cómo una persona explicaría una tarea

Tareas repetitivas que apunta a resolver en empresas

• Autotab ya está desplegado en empresas Fortune 500 y en compañías tecnológicas orientadas al crecimiento acelerado
• Uno de sus principales casos de uso es cuando las tareas de contratación, onboarding y gestión no logran seguir el ritmo del crecimiento
• Algunos ejemplos de tareas que puede realizar son los siguientes
  • Recolección de datos: búsqueda de leads, recopilación de información para reportes, migración completa entre sistemas
  • Llenado de formularios: ingreso de datos en formularios gubernamentales, apps internas de administración y sistemas de proveedores como ERP, RMS y TMS
  • Ejecución de acciones: envío de mensajes en cualquier plataforma, activación de reembolsos y otras acciones según el contexto

Consultas y verificación de aplicabilidad

• Si no estás seguro de si puede manejar una tarea, puedes enviar una grabación del proceso a [e-mail] y recibir una respuesta en 24 horas
• Las empresas que quieran reemplazar BPO de otra manera pueden escribir a [e-mail]

[GN⁺]

Opiniones en Hacker News

• Como creador del proyecto Selenium, creo que la automatización de pruebas va a ser una de las killer apps de la IA.
  Me da curiosidad cómo garantizan que la IA no alucine detalles en el código generado.

  • Por ahora, como medida básica de seguridad, verificamos que el XPath de Selenium seleccione exactamente un solo elemento en el DOM.
    A futuro, parece que lo mejor sería ofrecer una vista previa en tiempo real, donde un navegador reflejado siga exactamente la última acción, para poder depurar de inmediato si hay un error o si no coincide con la intención.

• Quiero intentar automatizar de forma significativa mi app web de sistema de agentes. Se siente como si, de manera recursiva, la automatización estuviera manejando automatización.
  Haciendo un poco de promoción: https://github.com/agi-merge/waggle-dance
  Normalmente no uso Chrome, pero entiendo por qué empezaron por Chrome. Aun así, me gustaría que también salieran versiones para Firefox o Safari.

  • Vi waggledance.ai y lo que puede hacer se ve genial e interesante.
    Pero, aparte de una UI bien hecha, me pregunto qué ofrece waggledance que no se obtenga con una respuesta de GPT-4.
    Por lo que he probado, la forma en que genera y descompone tareas es bastante parecida a lo que obtienes al preguntarle a ChatGPT.
  • Sin duda, en algún momento también está planeado dar soporte a otros navegadores.

• Una vez escribí scripts de Selenium para automatizar el trabajo de mi padre. Por ejemplo, tomaba nombres de una hoja de cálculo, los ponía en el buscador de un sitio web y repetía la misma acción para cientos de personas; le ahorró mucho tiempo.
  Si se puede hacer que la automatización del navegador sea más fácil simplemente mostrándole a la máquina qué hacer, creo que la vida de mucha gente sería mucho más cómoda, así que tengo muchas ganas de probarlo.

  • Ayudar con este tipo de cosas encaja muy bien con lo que esperamos lograr. Me gustaría escuchar tus impresiones después de probarlo; si te interesa conversar, mi correo está en el perfil.

• Quiero subir esto a un servidor y ofrecerlo con BrowserBox, para que también se puedan crear automatizaciones desde móvil.
  La razón original por la que creé BrowserBox también era tener una plataforma para entregar una herramienta de creación de web scraping que no estuviera atada a extensiones, pero al convertir el navegador remoto en un producto en sí, todavía no llegué a crear la herramienta de automatización.
  Gracias por crear esto y publicarlo bajo MIT. Creo que el futuro de este campo es una forma de crear web scraping guiada por humanos y aumentada con IA.
  También me gusta el nombre. autotab
  Como el SaaS de BrowserBox que voy a lanzar pronto se llama Cloudtabs, también hay un poco de “sinergia”.
  https://github.com/BrowserBox/BrowserBox

  • BrowserBox se ve genial, pero con solo el README era difícil saber qué motor de navegador usa. Me da curiosidad si lo crearon ustedes mismos.

• En https://ray.run/ estamos creando casi exactamente lo mismo para Playwright. No tengo dudas de que este es el futuro de la escritura de pruebas, y planeamos lanzarlo la próxima semana.
  El enfoque parece un poco distinto. Usamos el LLM solo para identificar elementos, y el generador real lo estamos haciendo con https://ray.run/browser-extension.

  • Cuando un visitante tenga configurado prefers-reduced-motion, deberían desactivar el fondo animado.
    O simplemente podrían desactivarlo en general. Molesta bastante.

• Me pregunto en qué se diferencia de la función Recorder de Chrome.
  En DevTools > Recorder puedes grabar el recorrido de un usuario y exportarlo como script de Puppeteer.

  • La mayor diferencia quizá sea que autotab genera un script de Python. Es más fácil integrarlo con una base de código existente en Python.
    Creo que, a futuro, gracias a la flexibilidad del código y del ecosistema de Python, será más fácil crear más funcionalidades. Por ejemplo, las tareas basadas en navegador no son totalmente deterministas, y durante la automatización muchas veces se necesita más inteligencia, como resumir información de una página web o completar dinámicamente una respuesta adecuada en una caja de texto.

• Al ver la inversión de YC, me enteré de que era el fundador de https://www.ztool.co. Me pregunto si hicieron un pivote o si es un producto complementario a ztool.

  • Esto definitivamente se parece más a un pivote. Dicho eso, el producto ZTool en sí también ha pasado por varios cambios grandes.
    Lo que aprendimos durante los últimos meses construyendo y hablando con usuarios se puede resumir en dos razones por las que terminamos haciendo autotab.
    Primero, el software generado por IA aún no está listo para usuarios no técnicos. En ZTool nos enfocábamos en facilitar que personas que no saben programar crearan automatizaciones, pero ahora creemos que es mejor que la salida del modelo sea código. Por eso autotab se enfoca en usuarios que pueden revisar y modificar código Python.
    Segundo, la forma de transmitir la intención es importante. Pasar de “esta tarea me molesta” a una representación estructurada requiere sorprendentemente mucho esfuerzo mental. Las demos de IA se han enfocado en transmitir la intención con prompts cortos, pero eso no funciona bien en dominios complejos. Transmitir la intención mediante el navegador se siente muy intuitivo y familiar, así que parece potente.

• Dice “ejecuta una sesión de Chrome controlada por Selenium y luego inicia sesión en Google”; me pregunto por qué el inicio de sesión en Google es un requisito.

  • Ya corregimos esta parte: ahora puedes obtener una clave de API en autotab.com/dashboard y autenticarte solo con esa clave al ejecutar autotab record. Ya no hace falta iniciar sesión en Google dentro del navegador de Selenium.
  • Por ahora, para el inicio de sesión propio de autotab solo permitimos iniciar sesión con Google, pero pronto agregaremos usuario/contraseña y otras opciones.
    Según el feedback, también podríamos crear una opción para que los usuarios traigan su propia clave de API de OpenAI.

• Me pregunto si se pueden grabar flujos de trabajo o macros que se usen como atajos dentro de una ventana de navegador abierta, o si está limitado a procesos de automatización que abren una ventana del navegador y ejecutan algunas acciones.
  Por ejemplo, si hay varias pestañas abiertas y en cada una existe el mismo elemento, como el botón de pantalla completa de YouTube, quisiera saber si con Autotab se podría grabar algo como “salir de pantalla completa, pasar a la siguiente pestaña, poner el video de esa página en pantalla completa”.

  • Si siempre abres el video de YouTube dentro de la instancia de navegador lanzada por el script de autotab, hasta cierto punto podría ser posible, pero la respuesta corta es que por ahora lo veo difícil.
    Estas macros son muy interesantes, y hemos hablado mucho sobre cómo podrían diseñarse los navegadores para este tipo de IA y automatización.
  • Me da curiosidad qué macros querrías definir. Es un área sobre la que queremos aprender más.

• Para que esto sea lo más útil posible, un LLM con un conjunto de reglas debería poder interpretar la situación dinámica de una página y actuar en consecuencia.
  Por ejemplo, cuando intentas agregar algo al carrito, si el LLM detecta la regla de que no hay stock, hace otra acción.
  Me pregunto si en el futuro será posible en este software una lógica de ramificación basada en reglas y aumentada con LLM.

  • Muy de acuerdo, y estamos trabajando activamente en eso.
    Hay dos preguntas interesantes: 1) cuál es el formato más efectivo para que el usuario transmita su intención; quizá no sea apuntar y hacer clic, 2) cómo representar la salida del modelo de forma que sea auditable y editable es la clave.