Magnitude - framework open source de testing AI-native para apps web

• Framework open source de testing E2E impulsado por IA para apps web
• Permite escribir casos de prueba fácilmente en lenguaje natural, y un agente de IA de razonamiento crea el plan de pruebas, mientras que un agente visual de IA detecta y se adapta a los cambios en la UI para ejecutar las pruebas
• Combina LLM multimodales y modelos de visión para realizar pruebas de UI rápidas y precisas, y los planes se guardan para poder ejecutarse siempre de la misma manera
• Si surge un problema, el agente de razonamiento lo resuelve automáticamente
• Permite integración con CI/CD y soporta la ejecución de pruebas de forma similar a Playwright. Las pruebas pueden ejecutarse en entornos de CI (como GitHub Actions)
• ¿Por qué no usar OpenAI Operator o Claude Computer Use?
  • Magnitude está diseñado separando planificación y ejecución
  • Está optimizado para la ejecución de pruebas en términos de velocidad, confiabilidad y costo, más que las API generales para tareas de escritorio/web
  • Ofrece su propio runner para maximizar confiabilidad, velocidad y eficiencia de costos
• Recomendación de LLM
  • Modelo planner: usar un LLM multimodal general (recomendado: Gemini 2.5 Pro)
  • Modelo executor: usar Moondream, un LLM de visión rápido
• Ejemplo 1

  test('can add and complete todos', { url: 'https://magnitodo.com' })  
      .step('create 3 todos')  
          .data('Take out the trash, Buy groceries, Build more test cases with Magnitude')  
          .check('should see all 3 todos')  
      .step('mark each todo complete')  
          .check('says 0 items left')  
  

• Ejemplo 2

  test('can log in and create company')  
      .step('Log in to the app')  
          .data({ username: '[e-mail]', password: 'test' })  
          .check('Can see dashboard')  
      .step('Create a new company')  
          .data('Make up the first 2 values and use defaults for the rest')  
          .check('Company added successfully');