Lance - formato de datos columnar moderno optimizado para flujos de trabajo de ML

• Se convierte desde Parquet con 2 líneas de código y ofrece acceso aleatorio 100 veces más rápido, indexación/búsqueda vectorial y versionado de datos
• Compatible con pandas, duckdb, polars, pyarrow, etc.
• Zero-copy, versionado automático
• Casos de uso óptimos
  • Creación de motores de búsqueda y feature stores
  • Entrenamiento de modelos de ML de gran escala que requieren IO y shuffle de alto rendimiento
  • Almacenar/consultar/inspeccionar datos anidados complejos como robótica y blobs grandes (imágenes, point clouds, etc.)