Nemo - la plataforma de descubrimiento de datos de Facebook

 (engineering.fb.com)
9 puntos por xguru 2020-10-14 | 1 comentarios | Compartir por WhatsApp
  • Las organizaciones de gran escala suelen construir por separado motores internos de búsqueda de datos y metadatos

→ Netflix(Metacat), Lyft(Amundsen), Linkedin(DataHub), Uber(Databook)

→ Una plataforma que permite buscar metadatos como qué datos fueron creados, buscados o utilizados, por quién y cuándo, para facilitar su reutilización

  • Integra Hive, Scuba, Cubrick, varios dashboards y datasets de IA

  • Usa Unicorn, que se utiliza para la búsqueda en el grafo social

  • Permite consultas en lenguaje natural con spaCy: "¿Cuántos WAU (usuarios activos semanales) hay en Instagram?"

Lecturas relacionadas

1 comentarios

 
xguru 2020-10-14

Nemo no fue publicado como open source, pero las herramientas de otras empresas sí están disponibles como open source.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

Linkedin - DataHub https://github.com/linkedin/datahub