Open-Interface: controlar una computadora con un LLM

• Se puede controlar una computadora usando una API key de OpenAI.
  • Si quieres, también se puede usar otro LLM. Incluso puede apoyarse en LiteLLM.
• Puede comunicarse con el LLM e imitar sus instrucciones (entradas de mouse/teclado).
• Ejemplos:
  • "Resuélveme el rompecabezas de palabras de hoy."
  • "Abre Google Docs y arma un menú para el almuerzo."
  • "Programa una aplicación web."
• Instrucciones que pueden causar fallas:
  • Razonamiento espacial
    • Manipulación de hojas de cálculo
  • Aplicaciones GUI complejas donde el cursor del mouse es indispensable
• Próximamente:
  • "Créame unas muestras de bajo con Garage Band."
  • "Averigua los gustos musicales de mis amigos con Sportify y crea una lista de reproducción para usar esta noche en la fiesta."
• Se estima que costará alrededor de $0.0005 - $0.002, dependiendo del LLM.
• Se puede detener presionando el botón 'Stop' o moviendo el cursor a una esquina de la pantalla.
• Si hay múltiples monitores, solo puede operar dentro de la pantalla principal.