Firecrawl - herramienta que hace utilizable un sitio web completo para LLM
(github.com/mendableai)- Rastrea un sitio web y lo convierte en Markdown o datos estructurados utilizables por un LLM
- Si envías una URL por API, rastrea todas las subpáginas y entrega datos limpios de cada una
- Ofrece SDK para Python, Node, Go y Rust
- Soporta integración con LangChain, Llama Index, Dify, Langflow, Zapier y más
2 comentarios
No admite rastreo de subniveles, pero les comparto un convertidor de formatos de documentos con un propósito similar.
https://github.com/DS4SD/docling
No funciona tan bien como me gustaría