La adquisición de Quickwit por parte de Datadog
(quickwit.io)- El equipo de Quickwit se unirá a Datadog para enfocarse en desarrollar nuevos productos, y planea publicar una nueva versión de Quickwit bajo Apache License 2.0 para que la comunidad pueda continuar el proyecto
- El punto de partida fueron los límites de escalabilidad y los altos costos operativos de Elasticsearch, y Quickwit se planteó como objetivo un motor de búsqueda más de 10 veces más eficiente en costos y capaz de escalar hasta múltiples petabytes
- Binance construyó con Quickwit un servicio de logs de 100PB e indexó 1.6PB al día, mientras que Mezmo también procesa en producción miles de clientes y logs a escala de petabytes
- Aunque crecieron el interés por el open source, los ingresos y la evaluación de una Series A, la estructura del equipo distribuido entre Tokyo, Paris y New York aumentó la carga de escalar, por lo que comenzaron a revisar una oportunidad de adquisición
- Hay actualizaciones importantes previstas para Quickwit y tantivy, y la nueva versión de Quickwit incluirá recolección distribuida, agregaciones de cardinalidad, y mejoras de rendimiento y memoria
Unirse a Datadog y continuidad del open source
- El equipo de Quickwit se unirá a Datadog y se enfocará en crear nuevos productos junto con Datadog
- Para que la comunidad pueda seguir desarrollando Quickwit, planean publicar pronto una nueva versión bajo Apache License 2.0
- Tanto Quickwit como tantivy tienen actualizaciones importantes previstas
- La nueva versión de Quickwit incluirá la recolección distribuida que la comunidad venía solicitando
- También incorporará agregaciones de cardinalidad, mejoras de rendimiento y memoria, además de otras funciones adicionales
El problema que Quickwit quería resolver
- Quickwit nació de una idea de larga data fruto de la colaboración entre tres ingenieros: Paul, Adrien y François
- En 2020, el proyecto personal de Paul, tantivy, fue el detonante
- tantivy ya era conocido como una alternativa popular a Lucene
- El problema central al que apuntaba el equipo era la escalabilidad y el costo operativo de Elasticsearch
- Elasticsearch no escalaba de manera efectiva
- El costo se volvía demasiado alto
- La complejidad operativa aumentaba
- El objetivo era construir un motor de búsqueda que los operadores pudieran administrar con tranquilidad, que escalara hasta una escala de múltiples petabytes y que fuera al menos 10 veces más eficiente en costos
Equipo distribuido y desarrollo open source inicial
- El desarrollo comenzó con un equipo distribuido: Adrien en San Francisco, Paul en Tokyo y François en Paris
- Aprovecharon las distintas zonas horarias para crear un ciclo de desarrollo follow-the-sun
- La elección de Rust tuvo un gran impacto en la velocidad de desarrollo inicial y en la estabilidad
- El primer demo, construido con el dataset de Common Crawl, llegó a la portada de HN
- Casi no hubo bugs, y se mencionó como única excepción un error de Python:
"'NoneType' object has no attribute"
- La primera versión se lanzó el 13 de julio de 2021
- El open source fue una decisión estratégica, pero también una elección natural como ingenieros
- La exposición en HN llevó a conversaciones con los primeros usuarios, pero a medida que aumentaban esas conversaciones también quedaban en evidencia funciones faltantes, lo que obligó a implementar mucho más
Casos de uso a gran escala y aportes al ecosistema Rust
- El encuentro con los equipos de ingeniería de Mezmo y Binance fue un punto de inflexión para que Quickwit evolucionara hacia un producto real a gran escala
- Binance construyó con Quickwit un servicio de logs de 100PB
- Indexaba 1.6PB por día
- Mezmo puso Quickwit en producción para procesar miles de clientes y logs a escala de petabytes
- Ofrecía la misma experiencia de usuario mientras reducía de forma importante el costo y la complejidad de la infraestructura
- Estas alianzas ayudaron a consolidar a Quickwit como un motor de búsqueda de múltiples petabytes y eficiente en costos
- Durante el desarrollo de Quickwit, el equipo también contribuyó a varias librerías del ecosistema Rust
- tantivy: librería de motor de búsqueda de texto completo que sirve de base para Quickwit
- chitchat: protocolo de membresía de clúster con detección de fallas, inspirado en Cassandra y DynamoDB
- Bitpacking: algoritmo SIMD para compresión de enteros mediante bitpacking
- Whichlang: librería rápida y liviana de detección de idioma para Rust
- Mrecordlog: write-ahead log eficiente diseñado para multitenencia
Cómo eligieron Datadog
- En el verano de 2024, Quickwit experimentó un aumento del interés por su open source, un fuerte crecimiento de ingresos y una atención activa por parte de fondos de VC
- La empresa consideró que era momento de abrir un nuevo capítulo e impulsar una ronda Series A
- Sin embargo, la estructura del equipo distribuido entre Tokyo, Paris y New York ya implicaba una carga importante, y escalar podía agravar aún más esa dificultad
- Quickwit finalmente decidió buscar un nuevo hogar y comenzó a evaluar una oportunidad de adquisición
- Datadog destacó claramente entre los candidatos
- La capacidad de Datadog para ofrecer experiencia de usuario
- El motor de búsqueda a escala de petabytes de Quickwit
- La oportunidad de crear una solución potente desplegada en los entornos de los clientes
- El escepticismo inicial frente a la idea de unirse a una gran empresa desapareció tras las conversaciones con el equipo de Datadog
- En esas conversaciones confirmaron su capacidad intelectual, humildad y una cultura genuina
Comunidad y clientes
- El equipo de Quickwit agradece a empleados, inversionistas, contribuidores, amigos y personas que los apoyaron
- Entre los clientes mencionados están Mezmo, Formal, Radiant Security, MatterLabs, Fly.io
- También agradecen a la comunidad, que los acompañó como parte de la trayectoria de Quickwit
1 comentarios
Opiniones en Hacker News
Como cofundador de Quickwit, ver que la adquisición por parte de Datadog llegó a la portada de HN se siente realmente como cerrar el círculo.
El recorrido de Quickwit estuvo ligado a HN desde el principio, y su avance quedó registrado tal cual en publicaciones de portada de HN: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
Todas esas apariciones en portada fueron hitos, y pusimos mucho empeño en los artículos de ingeniería porque queríamos aportar algo valioso a la comunidad. Estoy convencido de que HN tuvo un papel importante en el éxito de Quickwit, al darnos visibilidad, feedback positivo, comentarios críticos e incluso leads que nos contactaron directamente.
Me gusta pg_search https://www.paradedb.com/blog/introducing_search, que fue creado por otra empresa, pero parece estar construido sobre Tantivy, y eso es una gran ventaja del open source. Aun así, me preocupa que el desarrollo se detenga después de esta adquisición. Me pregunto cómo le beneficia a los ingresos de Datadog seguir desarrollando Tantivy de forma pública.
Como alguien que nunca le tomó cariño a los productos basados en Apache Lucene (Solr, Elastic), me alegró mucho que Tantivy saliera como open source. La puntuación BM25, el soporte adecuado para idiomas asiáticos, la velocidad y el uso de memoria son excelentes.
https://github.com/quickwit-oss/tantivy
Creo que Datadog tomó una decisión inteligente. Con que Tantivy en sí permanezca para siempre bajo licencia Apache 2 y pueda coexistir de forma sostenible con la comunidad open source, basta. Se merecen el éxito comercial.
Quickwit parecía estar intentando agregar una licencia enterprise a principios de este año en el PR #5529, pero en este anuncio dicen, por el contrario, que lo relicenciarán bajo Apache License 2.0 para que la comunidad pueda seguir adelante.
El mensaje dice: “Nos enfocaremos en crear un nuevo producto con Datadog y, para que la comunidad open source pueda continuar, pronto publicaremos una gran actualización de Quickwit y tantivy y los relicenciaremos bajo Apache License 2.0”.
Al final tendremos un Quickwit con una licencia más libre, pero leyendo entre líneas parece que el desarrollo en la práctica se reducirá. Por lo que he usado, es estable, así que no tengo mucho de qué quejarme, pero estaba esperando ver qué más traerían en el futuro.
Aun así, parece que quieren publicar el producto actual con una licencia compatible con OSI para que la comunidad pueda tomar el relevo, y eso me parece un compromiso razonable. Podría haber sido mucho peor.
Datadog tampoco es una empresa completamente ajena al open source. Vector, su herramienta de pipeline de observabilidad publicada para uso general, es un producto bastante sólido: https://vector.dev/
Es un poco una lástima que recientemente hayan adquirido varias bases de datos modernas. Tenían potencial para traer mucha innovación
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
Supabase está proporcionando un canal de distribución inicial para que el equipo de OrioleDB pueda concentrarse en el motor de almacenamiento, más que en el hosting, y recibir muchos comentarios de usuarios y reportes de bugs. El objetivo compartido es convertir OrioleDB en un candidato a motor de almacenamiento predeterminado de Postgres, no solo para Supabase, sino para usarlo en cualquier lugar
Conocí a los fundadores de las tres empresas y estoy convencido de que todos son sinceros en querer llevar su trabajo al mundo. Como referencia, ParadeDB sigue siendo independiente y no tiene planes de venta por ahora
Empieza la cuenta regresiva hasta que Datadog encuentre la forma de cobrar por nodo, CPU, contenedor, RAM (KB) y caracteres Unicode indexados
El modelo de precios es bastante complejo, y con el tiempo uno empieza a preguntarse si estas buenas funciones realmente valen esos precios tan altos
Mezmo dice que puso Quickwit en producción para manejar miles de clientes y logs a escala de petabytes, reduciendo mucho los costos y la complejidad de infraestructura; debe ser difícil sentirse bien con que, justo después, Quickwit se vendiera a un competidor
Lo bueno para todos los demás es que, si Datadog lo arruina, eso indica que habrá bastante demanda de forks
Artículos relacionados: Binance built a 100PB log service with Quickwit (hace 6 meses, 228 puntos, 195 comentarios) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog (hace 1 año, 145 puntos, 51 comentarios) https://news.ycombinator.com/item?id=38902042
Dijeron: “Desde este verano el ambiente cambió. La tracción open source se hizo más fuerte, los ingresos se dispararon y los VC se nos acercaron con más intensidad. Era el momento de abrir un nuevo capítulo para la empresa y levantar una Series A”. Retóricamente, ¿por qué era ese el momento?
La respuesta realista está justo ahí. A los VC no les basta una empresa de rápido crecimiento con buena tecnología. O es una ronda al alza que les permite marcar hacia arriba el valor del portafolio, o, si el mercado no está lo bastante caliente como para una Series A cara, empujan hacia un exit
Si quieres construir una empresa rentable y en crecimiento, el dinero de VC no es ese camino
La redacción de la frase del blog puede prestarse a malentendidos. Es probable que los VC a los que se refería François no fueran tanto los que ya habían invertido en Quickwit, sino otros VC que conocían la situación de la empresa y se acercaban porque querían participar en una eventual Series A
En general, solo sentíamos que estábamos en una “encrucijada”; nadie nos torció el brazo
Detesto mucho a Datadog. En nuestra empresa usamos el nombre de Datadog casi como insulto para referirnos a formas en que no se debe vender ni hacer marketing
Alrededor de 2015-2018 quedé completamente harto por su forma de vender. Eran llamadas y emails interminables, y el golpe final fue una charla sobre Lambda en AWS re:Invent cuando Lambda se acababa de anunciar. Todo el equipo fue a escucharla para probar Lambda temprano, pero resultó ser una presentación de un empleado de Datadog, armada como stand-up comedy, que básicamente copiaba de forma elemental el blog “lambda up and running” de Barr, y el presentador no dejaba de remarcar que trabajaba en Datadog. La idea parecía ser emborracharte, ponerte de buen humor y hacerte sentir que Datadog era cool
Pregunto en serio: ¿la empresa cambió lo suficiente desde entonces como para volver a considerarla?
Como decía un exgerente, en el estado de resultados no existe una línea llamada “buena persona”, y alguien tiene que pagar los costos. Por eso es fácil inquietarse imaginando un camino oscuro
Pero uno de los resultados posibles es que surja un competidor open source válido frente al ecosistema Grafana, y eso por sí solo puede ayudar a evitar que el resto del ecosistema cambie de licencia. También podría ser un win-win en el que los fundadores encuentren un camino sostenible sin peleas por dinero y poder. Quiero verlo con optimismo, y solo el tiempo lo dirá
Acabo de pasar de Elastic a Quickwit y me da un suspiro de frustración. ¿Hay alguna otra base de datos de logs recomendable que sea open source y esté basada en almacenamiento de objetos?
Hace unos 3 años el producto cambiaba bastante rápido y mucha de la documentación estaba en git, así que las actualizaciones de versiones menores daban algo de dolor de cabeza, pero creo que ahora ya debe estar mucho más maduro
Está construido sobre ClickHouse, así que es rápido y escalable
https://github.com/SigNoz/signoz
Como referencia, soy mantenedor de SigNoz
Es un ejecutable único y pequeño, corre de inmediato con la configuración predeterminada y guarda todos los datos en un solo directorio. El soporte para almacenamiento de objetos se agregará pronto
Me da curiosidad qué va a construir Datadog con esta tecnología. Hasta hace unos meses, creo que esta empresa se presentaba como un competidor open source de Datadog
Las industrias reguladas, como finanzas, seguros y salud, tienen que mantener visibilidad de todo el sistema mientras cumplen con requisitos de residencia de datos, privacidad y regulación. Cuando los logs deben permanecer en el entorno del cliente o en una región específica, se vuelve difícil lograr una observabilidad fluida y obtener insights; parece que Datadog busca cubrir esa necesidad con Quickwit sin sumar varias herramientas de logs
¿Qué pasó con Vector, el proyecto open source que adquirieron antes? ¿Esa gente sigue empleada?