- LlamaCloud: servicio administrado de parsing, ingestión y búsqueda de nueva generación, diseñado para ofrecer Context-Augmentation de nivel de producción para aplicaciones LLM y RAG.
- LlamaParse: tecnología para parsear documentos complejos con objetos como tablas e imágenes. Permite construir búsqueda sobre documentos complejos y semiestructurados al integrarse con LlamaIndex.
- API de ingestión y recuperación administrada: ofrece una API para cargar, procesar y guardar datos fácilmente y usarlos desde cualquier lenguaje. Funciona sobre LlamaHub, LlamaParse y un almacenamiento de datos integrado.
RAG depende de la calidad de los datos
- El núcleo de los LLM es la automatización de la recuperación, síntesis, extracción y planificación del conocimiento desde fuentes de datos no estructurados.
- Para eso surgió el nuevo stack de datos Retrieval-Augmented Generation (RAG), que carga, procesa, incrusta y guarda datos en una base de datos vectorial.
- El stack de RAG es distinto del stack ETL tradicional y afecta directamente la precisión de los sistemas LLM.
- Empezar es fácil, pero construir RAG de nivel productivo es difícil.
- No siempre genera resultados satisfactorios.
- Hay demasiados parámetros para ajustar.
- Los PDFs son especialmente complicados por su formato desordenado.
- Sincronizar datos en constante actualización es muy difícil.
- LlamaCloud y LlamaParse se diseñaron como un stack de datos para desplegar aplicaciones RAG en producción más rápido.
LlamaParse
- LlamaParse es un parser de última generación que permite interpretar para RAG tablas y gráficos incrustados en documentos PDF complejos.
- Permite responder preguntas sobre documentos complejos que no se podían resolver con enfoques tradicionales.
API de ingestión y recuperación administrada
- Como otro producto clave de LlamaCloud, permite declarar fácilmente pipelines de datos de alto rendimiento y entregar datos limpios a aplicaciones LLM.
- Proporciona ahorro de tiempo de ingeniería, mayor rendimiento y menor complejidad del sistema.
Socios y colaboradores de lanzamiento
- LlamaParse colabora con diversos socios para construir alianzas de almacenamiento y cómputo en el ecosistema de LLM e IA, con players como Datastack, MongoDB, Qdrant y NVIDIA.
FAQ
- LlamaCloud no compite con bases de datos vectoriales y se enfoca en parsing e ingestión de datos. Está integrado con más de 40 DB vectoriales populares.
- La capa de búsqueda es una capa de orquestación por encima de los sistemas de almacenamiento existentes.
Próximos pasos
- LlamaParse está disponible desde hoy en vista previa pública, mientras que LlamaCloud se ofrece en vista previa privada a un grupo limitado de socios de diseño empresarial.
1 comentarios
Opinión de Hacker News
Como parte del equipo que desarrolló LlamaParse, tengo experiencia previa creando varios extractores de PDF a texto estructurado, y LlamaParse tiene mejoras respecto a otros extractores. Utiliza una combinación de OCR y extracción de texto del propio PDF para extraer texto, y mezcla heurísticas con modelos de machine learning para la reconstrucción de documentos. Combinado con una estrategia de recuperación recursiva, puede obtener los mejores resultados en preguntas y respuestas sobre texto complejo.
LlamaParse desarrolló un servicio de parsing propietario que convierte muy bien PDFs con tablas complejas a markdown bien estructurado. ¿No es problemático que los líderes del proyecto, después de volverse conocido por sus contribuciones y atención comunitaria como proyecto open source, acepten fondos de capital de riesgo y luego hagan algo propietario?
No entiendo por qué lo publicaron en Medium. Medium se volvió imposible de leer, y debería haber un post de blog accesible para la audiencia.
Me pregunto cómo se compara LlamaParse directamente con unstructured.io.
Mi experiencia inicial con LlamaParse no fue buena. Al registrarse por correo hubo un problema de redirección infinita; después de iniciar sesión con Google, quedé decepcionado con el parser de PDFs. Ya existen muchas opciones, así que no entiendo por qué hace falta este servicio.
LlamaParse parece intentar resolver un problema difícil. Muchas empresas necesitan parsear archivos PDF y extraer datos con precisión. La interfaz es algo confusa. LlamaParse puede extraer números de tablas, pero parece que no entrega la salida en formato de tabla y que solo se accede a esos números mediante preguntas y respuestas.
¿No es similar a lo que hace AWS Textract? Tiene la capacidad de parsear e interrogar información de tablas y formularios. Para LI, facilita para los usuarios el historial de búsqueda para workflows y RAG, pero me pregunto por qué reinventar la rueda.
Se pueden extraer datos en el formato más adecuado desde el principio con LLMs, así que no se entiende por qué construir esto. Puede tener sentido a corto plazo por costo, pero en el largo plazo es un problema que generalmente se puede resolver con LLMs.
LlamaParse aborda exactamente un problema que encontré repetidamente con RAG: es difícil obtener información estructurada a partir de datos no estructurados.
Curiosidad: ¿cuál será el precio?