Es un servidor API en Rust para hacer scraping de páginas web y extraer datos estructurados con un LLM.
Funciones principales:
- Soporte para renderizado de JavaScript basado en Headless Chrome
- Integración con la API de Gemini para analizar de inmediato los resultados del scraping
- Respuestas estructuradas basadas en JSON Schema
- Manejo de 50 solicitudes simultáneas mediante tab pooling
- Funciones de seguridad integradas, como prevención de SSRF y comparación de claves API en tiempo constante
Ejemplo de uso:
Si envías una URL y un prompt de análisis a POST /scrape,
devuelve el contenido de la página y el resultado del análisis del LLM en JSON.
Fue creado como una alternativa self-hosted a servicios como JinaAI y Firecrawl.
Si solo necesitas scraping, también se puede usar sin LLM.
Aún no hay comentarios.