Mapa de la industria ML/AI/Data 2024 y tendencias más recientes

Mapa de la industria MAD (ML, AI, Data) de 2024 resumido en una sola imagen y explicación de 24 temas de este año

[Part I : Landscape]

• En la primera versión de 2012 solo había 139 empresas, pero en el ecosistema MAD de 2024 se incluyen 2,011 empresas
• Esto significa que se agregaron 578 nuevas frente a las 1,416 del año pasado
• La razón por la que se incluyen tantas empresas es que, en los últimos 10 años aproximadamente, se produjeron de forma consecutiva dos grandes olas de avance tecnológico: una en infraestructura de datos y otra en tecnologías de ML/AI
  • La primera ola fue cerca de una década de evolución tecnológica en infraestructura de datos, que comenzó con big data y terminó en el modern data stack
  • La segunda ola es el avance de ML/AI iniciado con la IA generativa (Generative AI)
• El ecosistema MAD se enfoca en mostrar todo el ciclo de vida de los datos, desde la recolección y el almacenamiento hasta el procesamiento, el análisis y la entrega de valor mediante aplicaciones

Principales cambios en las áreas de infraestructura y análisis

• En el área de infraestructura de datos (el lado izquierdo del ecosistema MAD) no ha habido grandes cambios recientemente
  • Se cambió "Database Abstraction" por "Multi-Model Databases & Abstractions" para reflejar la aparición de DBs multimodelo todo en uno como SurrealDB y EdgeDB
  • Se eliminó la sección "Crypto / Web 3 Analytics", creada experimentalmente el año pasado
  • También se eliminó la sección "Query Engine" (aunque esas empresas siguen incluidas)

Principales cambios en el área de machine learning e inteligencia artificial

• En 2023, el crecimiento explosivo de las empresas de IA provocó los mayores cambios estructurales en esta área
• Se agregaron 3 nuevas categorías junto a MLOps
  • "AI Observability": startups que prueban, evalúan y monitorean aplicaciones de LLM
  • "AI Developer Platforms": plataformas de desarrollo de aplicaciones de IA similares a MLOps, pero enfocadas en el entrenamiento, despliegue e inferencia de LLM
  • "AI Safety & Security": empresas que abordan preocupaciones propias de los LLM (hallucination, ética, cumplimiento regulatorio, etc.)
• "Horizontal AI/AGI" se dividió en dos categorías: "Commercial AI Research" y "Nonprofit AI Research"
• "GPU Cloud" pasó a llamarse "GPU Cloud / ML Infra" para reflejar la incorporación de funciones clave de infraestructura por parte de los proveedores de nube GPU

Principales cambios en el área de aplicaciones

• Todas las empresas de la capa de aplicaciones ahora se autodenominan "empresas de IA"
• Se añadió la categoría "Presentation & Design" a "Horizontal Applications"
• "Search" pasó a "Search / Conversational AI" para reflejar la aparición de interfaces tipo chatbot basadas en LLM como Perplexity
• En "Industry", "Gov't & Intelligence" se cambió por "Aerospace, Defense & Gov't"

Principales cambios en el área de infraestructura open source

• Se creó una sola categoría, "Data Management", que abarca "Data Access" y "Data Ops"
• Se añadió una nueva categoría llamada "Local AI", que ofrece herramientas de infraestructura para llevar la IA y los LLM a entornos locales de desarrollo

[Part II: 24 temas de 2024]

1. Datos estructurados vs. datos no estructurados

• Existen datos estructurados, que pueden encajar en filas y columnas, y datos no estructurados, como texto, imágenes, audio y video
• Los datos estructurados se extraen, almacenan y transforman con fines analíticos para visualizarse en herramientas de BI o usarse en modelos tradicionales de ML/AI
• Los datos no estructurados se usan principalmente para entrenar y utilizar (inferir con) modelos de IA generativa, como los LLM
• Actualmente, los datos no estructurados (ML/AI) están en el centro de atención, mientras que los datos estructurados (como el modern data stack) no lo están

2. ¿Está muerto el modern data stack?

• El modern data stack (MDS) trata con pipelines de datos estructurados y, hasta hace poco, era uno de los conceptos más comentados en la industria del software
• El MDS se organizaba alrededor del cloud data warehouse, con Fivetran/Airbyte aguas arriba, DBT en el medio y Looker/Mode aguas abajo
• Cuando Snowflake logró uno de los IPO más grandes de la historia, el interés por el MDS se disparó, lo que llevó a una ola de creación de startups y de inversión de VC
  • Varias categorías, como data catalog, data observability, ETL y reverse ETL, se saturaron en apenas 1 o 2 años
• El MDS era una solución a problemas reales, pero al mismo tiempo también funcionaba como una alianza de marketing entre varias startups de la cadena de valor de los datos
• Sin embargo, hoy el MDS enfrenta presión porque ① requiere combinar soluciones de varios vendors y eso resulta costoso, y ② ya no recibe tanta atención al verse desplazado por la IA generativa

3. Consolidación en la infraestructura de datos y crecimiento de los grandes jugadores

• En 2024 se espera que ocurran las siguientes cosas en la industria de infraestructura y análisis de datos:
  • Muchas startups relacionadas con el MDS intentarán reposicionarse como "startups de infraestructura de IA"
    • Algunas podrían lograrlo, pero la mayoría necesitará una evolución profunda de su producto para pasar de datos estructurados a datos no estructurados
  • La industria de infraestructura de datos finalmente experimentará cierto nivel de consolidación
    • Hasta ahora el M&A había sido limitado, pero en 2023 hubo adquisiciones pequeñas y medianas como Stemma (adquirida por Teradata), Manta (adquirida por IBM) y Mode (adquirida por Thoughtspot)
  • Aumentarán de forma significativa los casos de fracaso de startups
    • Con el capital de VC agotándose, la situación sigue empeorando. Muchas startups han recortado costos con fuerza, pero al final enfrentarán el agotamiento de caja. Parece difícil esperar titulares espectaculares
  • Las empresas con escala redoblarán sus esfuerzos por convertirse en plataformas
    • Lo harán mediante adquisiciones, pero también intentando cubrir más funciones con desarrollo propio

4. Situación de Databricks vs. Snowflake

• Snowflake, en el sector de datos estructurados, sigue siendo una gran empresa y tiene una de las valuaciones más altas entre las tecnológicas (PER de 14.8x)
  • Sin embargo, como muchas compañías de software, su crecimiento se ha desacelerado de forma importante
    • Los ingresos del año fiscal 2024 fueron de 2.67 mil millones de dólares, un crecimiento interanual de 38%, y la tasa de crecimiento esperada para los próximos 12 meses es de 22%
  • Sobre todo, da la impresión de estar teniendo dificultades en innovación de producto
    • Su respuesta en IA ha sido lenta y también ha sido poco activa en M&A
    • El reciente cambio de CEO, algo repentino, también es una señal interesante
• Databricks, en el sector de datos no estructurados, muestra en general un impulso sólido
  • Se informa que sus ingresos del año fiscal 2024 fueron de 1.6 mil millones de dólares, con un crecimiento superior a 50% (empresa privada)
  • Databricks está emergiendo como un actor clave en IA generativa
    • Ha sido activa tanto en M&A como en desarrollo interno de producto, incluyendo la adquisición de MosaicML por 1.3 mil millones de dólares
    • No solo es un repositorio clave de datos no estructurados que alimentan a los LLM, sino que también desarrolla directamente varios modelos, desde Dolly hasta el recién anunciado DBRX
• Una nueva variable en la competencia entre ambas es el lanzamiento de Fabric por parte de Microsoft
  • Anunciado en mayo de 2023, Fabric es una plataforma SaaS de análisis de datos en la nube de extremo a extremo
  • Integra OneLake, el data lake de Microsoft, la herramienta de BI PowerBI y Synapse, cubriendo todo el espectro desde la integración de datos hasta la ingeniería y la ciencia de datos
  • Aunque puede haber una brecha entre el anuncio y el producto real, combinado con la inversión de Microsoft en IA generativa podría convertirse en una amenaza fuerte
  • También es interesante que Databricks funciona principalmente sobre Azure, la nube de Microsoft

5. Estado de BI en 2024 y si la IA generativa está cambiando el análisis

• Entre MDS y el área de pipelines de datos estructurados, el campo que más urgentemente necesitaba reinventarse era BI
  • En 2019, en MAD, ya se señalaba que la consolidación de la industria de BI estaba casi completa, y en 2021 se abordó la aparición de las metric stores
• Sin embargo, la transformación de BI/analítica avanza más lento de lo esperado
  • Siguen dominando el mercado líneas de productos antiguas como Power BI, Tableau y Looker, que a menudo incluso se ofrecen gratis al ir atadas a contratos comerciales más grandes
  • Ha habido algo más de consolidación (la adquisición de Mode por parte de ThoughtSpot y la de Sisu por parte de Snowflake), y también hay empresas jóvenes que intentan enfoques innovadores como dbt (semantic layer/MetricFlow) y Trace (metric tree), pero aún están en una etapa temprana
• Mientras tanto, la IA generativa podría tener un gran impacto no solo en la extracción/transformación de datos, sino también en el análisis mismo
  • Hubo movimientos activos como Code Interpreter de OpenAI (hoy Advanced Data Analysis) y el chatbot financiero para Excel de MS
  • Los vendors de nube, Databricks, Snowflake, el mundo open source y numerosas startups están desarrollando o ya lanzaron productos de "text to SQL" que ejecutan consultas a bases de datos en lenguaje natural
• Esto anticipa un cambio interesante y potencialmente disruptivo
  • La democratización del análisis ha sido una aspiración de larga data, y si el lenguaje natural se convierte en la interfaz de notebooks/DB/herramientas de BI, muchas más personas podrán hacer análisis
• Sin embargo, dentro de la industria de BI también hay escepticismo
  • Se señala que la precisión de SQL y la comprensión del contexto de negocio detrás de una consulta serán obstáculos para la automatización

6. El auge del stack moderno de IA

• Gran parte de la discusión hasta ahora ha tratado sobre pipelines de datos estructurados
• La infraestructura de datos no estructurados atraviesa una fase muy distinta a la de la infraestructura de datos estructurados. La demanda por datos para alimentar a los LLM es altísima
  • Toda empresa que experimenta o despliega IA generativa está redescubriendo el cliché de que "los datos son el nuevo petróleo"
  • Todos quieren el poder de los LLM, pero quieren modelos entrenados con sus propios datos empresariales
• Tanto grandes empresas como startups se están lanzando agresivamente a competir para ofrecer la infraestructura de la IA generativa
• Varias empresas de AI scale-up están evolucionando activamente sus productos para ganar momentum
  • Databricks, Scale AI (que evolucionó su infraestructura de etiquetado para autos autónomos hacia pipelines de datos empresariales, en alianza con OpenAI y otros), Dataiku (lanzó LLM Mesh para entornos multivendor/multimodelo), entre otras
• Al mismo tiempo, está surgiendo una nueva generación de startups de infraestructura de IA en varias áreas
  • Vector DB: almacenan datos en un formato que los modelos de IA generativa pueden consumir (vector embeddings). Vendors especializados como Pinecone, Weaviate, Chroma y Qudrant están creciendo rápidamente, y empresas de bases de datos ya establecidas como MongoDB también están agregando activamente funciones de búsqueda vectorial. Al mismo tiempo, existe el debate de si la expansión de la context window podría volver innecesarias las vector DB
  • Frameworks: LlamaIndex, Langchain y otros cumplen el rol de conectar y orquestar múltiples componentes
  • Guardrails: hacen que los resultados entre el LLM y el usuario cumplan con las reglas de la organización
  • Evaluators: prueban/analizan/monitorean el rendimiento de los modelos de IA generativa. Se considera un problema difícil debido a la desconfianza hacia los benchmarks públicos
  • Routers: distribuyen en tiempo real las consultas de los usuarios entre varios modelos para optimizar rendimiento/costo/experiencia
  • Gestión de costos: monitorean el costo de uso de los LLM
  • Endpoints: APIs que abstraen la complejidad de la infraestructura subyacente, como los modelos
• A la luz de lo ocurrido con MDS, hay reticencia a usar el término "stack moderno de IA"
  • Sin embargo, hay muchas similitudes: estas startups están tan "hot" como lo estuvieron antes las empresas de MDS, y se mueven en grupo formando alianzas de marketing y producto
• Esta nueva generación de startups de infraestructura de IA enfrentará desafíos similares a los de las empresas de MDS
  • ¿Cada categoría es lo suficientemente grande como para crear empresas de decenas de miles de millones de dólares?
  • ¿Qué partes terminará construyendo directamente Big Tech (proveedores de nube, Databricks, Snowflake, etc.)?

7. El ciclo de hype de la IA: ¿en qué punto estamos?

• La IA ha repetido veranos e inviernos durante décadas. Solo en los últimos 10-12 años ha habido tres ciclos de hype
  • 1.º: 2013-2015, iniciado cuando el deep learning ganó atención tras ImageNet 2012
  • 2.º: alrededor de 2017-2018, con el boom de los chatbots y el ascenso de TensorFlow
  • 3.º: desde noviembre de 2022 hasta hoy, con la IA generativa
• Este ciclo de hype ha sido particularmente intenso, al punto de sentirse como una burbuja de IA. Hay varias razones
  • La tecnología en sí es tremendamente impresionante y, más allá del ámbito técnico, también resulta fácil de entender para el público general
  • Para los VC con mucho dry powder, fue prácticamente el único lugar donde invertir mientras todas las demás áreas tecnológicas estaban deprimidas
• Como siempre, el hype trae varias ventajas ("sin entusiasmo fanático no hay grandes logros", financiamiento para proyectos ambiciosos tipo "que florezcan cien flores") y desventajas (de la noche a la mañana todos se convierten en expertos en IA, toda startup pasa a ser una empresa de IA, proliferan conferencias/podcasts/newsletters sobre IA y hay una avalancha de market maps de IA)
• Pero el principal problema de un ciclo de hype es la reacción inevitable que viene después
• La fase actual contiene varias "rarezas" y riesgos
  • La peculiar estructura legal y de gobierno corporativo de la empresa líder (OpenAI)
  • La proliferación de acuerdos poco comprendidos o poco transparentes de "recibir equity a cambio de respaldo en poder de cómputo" (con posible round-tripping)
  • Muchas startups prometedoras están dirigidas por investigadores de IA
  • El comportamiento de los VC recuerda a la era de tasas cero ("land grab", rondas gigantes, valuaciones mareantes para empresas recién nacidas)
• Aunque ya hay señales de grietas en el hype de la IA (ver más abajo), todavía estamos en una fase en la que cada semana aparece algo nuevo que sorprende a todos. Viendo noticias como el fondo saudí de IA por USD 40 mil millones, parece difícil que el flujo de capital se detenga pronto

8. ¿Experimento o realidad? ¿Fue falso 2023?

• Dado el hype, vale la pena repasar cuántas cosas sustanciales han ocurrido realmente hasta ahora y si no se ha tratado solo de experimentación
• 2023 fue un año extremadamente movido
  • Todas las empresas tecnológicas se apresuraron a incorporar IA generativa en sus productos
  • Todas las juntas directivas de las Global 2000 ordenaron adoptar IA, e incluso compañías de industrias reguladas como Morgan Stanley y Citibank avanzaron a velocidad récord
  • Los consumidores mostraron un entusiasmo enorme por las apps de IA generativa
• Como resultado, OpenAI (USD 2B ARR), Anthropic (ingresos estimados de USD 850M en 2024), Midjourney (40 personas y USD 200M en ingresos sin levantar inversión) y Perplexity (MAU de 0 a 10 millones) lograron grandes éxitos
• Pero, ¿conviene verlo con cinismo? Hay varias preocupaciones
  • El gasto empresarial muchas veces se quedó en PoC o en resultados vistosos, y en muchos casos salió de presupuestos de innovación
    • ¿No habrá sido impulsado más por el deseo de los ejecutivos de no parecer rezagados que por resolver problemas reales de negocio?
  • Las apps de consumo tienen altas tasas de abandono. ¿No habrá sido solo curiosidad pasajera?
  • Mucha gente dice que todavía no sabe bien cómo usar la IA generativa, ni en lo personal ni en el trabajo
  • Incluso los productos creados por los mejores expertos en IA no necesariamente se sentirán todos como magia
    • ¿Cómo debe interpretarse el caso de Inflection AI, que cerró de forma decepcionante pese a haber recaudado USD 1.3B? ¿Es una prueba de que el mundo no necesita otro chatbot de IA ni otro LLM?

9. Las empresas de LLM, ¿realmente no se han comoditizado tanto?

• Las empresas de LLM están recibiendo inversiones enormes de capital de riesgo y financiamiento corporativo
• La pregunta más común en los últimos 18 meses ha sido esta: ¿estamos viendo cómo se quema una enorme cantidad de capital en productos que al final se van a comoditizar? ¿O estas empresas de LLM se convertirán en los nuevos AWS, Azure o GCP?
• El hecho incómodo para las empresas de LLM es que ninguna parece capaz de construir una ventaja de rendimiento sostenida
  • Por ahora, es algo así como que Claude 3 Sonnet y Gemini Pro 1.5 son mejores que GPT-4, y GPT-4 es mejor que Gemini 1.0 Ultra, pero esa jerarquía parece cambiar cada pocas semanas
  • También hay volatilidad en el rendimiento: ChatGPT en algún momento “perdió la cordura” y “se volvió flojo”, antes de recuperarse temporalmente
• Además, el rendimiento de los modelos open source (Llama 3, Mistral, DBRX, etc.) también se está acercando rápidamente
• Mientras tanto, han aparecido muchas más empresas de LLM en el mercado de las que se esperaba originalmente
• Hace apenas unos años, predominaba la idea de que solo habría una o dos empresas de LLM, en un esquema donde el ganador se lleva todo, porque había muy pocas personas en el mundo con la experiencia necesaria para escalar transformers
• Sin embargo, parece que hay más equipos capaces de lo que se pensaba
  • Además de OpenAI y Anthropic, hay muchas startups que realizan investigación base en IA, como Mistral, Cohere, Adept, AI21, Imbue y 01.AI, además de equipos en Google, Meta y otras compañías
• Aun así, hasta ahora las empresas de LLM no lo están haciendo mal. OpenAI y Anthropic están aumentando sus ingresos a una velocidad impresionante
• Puede que los “modelos” LLM se comoditicen, pero las “empresas” de LLM todavía tienen enfrente una oportunidad de negocio enorme
  • Ya se han convertido en empresas “full-stack” que ofrecen aplicaciones y herramientas para consumidores, empresas y desarrolladores sobre sus modelos fundacionales
• La analogía con las empresas de nube parece bastante acertada
  • AWS, Azure y GCP atraen y retienen clientes a través de la capa de aplicaciones/herramientas, y en general obtienen ganancias a través de una capa de cómputo/almacenamiento poco diferenciada

10. Futuro híbrido: LLM, SLM

• Aunque la atención está puesta en los LLM de gran escala (GPT-3, GPT-4, GPT-5, etc.), los SLM (small language model) también están avanzando rápidamente
  • Como Llama-2-13b de Meta, Mistral-7b/Mixtral 8x7b de Mistral, y Phi-2/Orca-2 de MS
  • Los SLM tienen costos operativos más bajos, son más fáciles de afinar y también ofrecen buen rendimiento
• También están surgiendo modelos especializados para tareas concretas (programación, finanzas, etc.)
  • Modelos especializados en programación como Code-Llama y Poolside AI
  • Modelos especializados por industria, como el modelo financiero de Bloomberg o el modelo de ciencia de materiales de Orbital Materials
• En las empresas, la evolución hacia arquitecturas híbridas que combinan estos distintos modelos avanza rápidamente
• Aunque los precios están bajando, los grandes LLM propietarios siguen siendo caros y también presentan problemas de latencia, por lo que usuarios y clientes desplegarán combinaciones cada vez más diversas de modelos
  • La tendencia es combinar modelos grandes/pequeños, comerciales/open source y de propósito general/especializados según la necesidad y el presupuesto

11. ¿Ha muerto la IA tradicional?

• Con la aparición de ChatGPT, tecnologías de IA que hasta entonces se consideraban de punta pasaron de la noche a la mañana a llamarse “IA tradicional”
• Sin embargo, la IA tradicional (o IA predictiva) trabaja con datos estructurados y es complementaria a la IA generativa
• La IA tradicional ya se usa a gran escala en muchísimas empresas
• De aquí en adelante, las empresas tendrán que pensar en qué tareas usar LLM, en cuáles usar modelos tradicionales de IA y cómo combinar ambos

12. Wrappers delgados, wrappers gruesos y la carrera por volverse full-stack

• Wrapper delgado (thin wrapper): término de moda en 2023 con una connotación negativa, para referirse a productos que dependen de tecnología de terceros como OpenAI
  • Las dificultades de startups como Jasper respaldan esta idea
• Sin embargo, con el tiempo también han surgido formas de diferenciarse
  • Enfocarse en un problema específico (vertical)
  • Incorporar workflow, colaboración y funciones de integración profunda
  • Realizar trabajo a nivel del modelo de IA, como fine-tuning de modelos o construcción de sistemas híbridos
• Es decir, hay que volverse full-stack (aplicación + infraestructura) y al mismo tiempo especializado (narrow)

13. Áreas a seguir: agentes de IA, Edge AI

• Los agentes de IA son un gran foco de interés como etapa final de la automatización
  • Pero todavía no cumplen las expectativas porque la IA generativa sigue mostrando debilidades
  • Hacen falta mejoras, como agregar capacidades de memoria a los sistemas de IA
  • Aun así, parece que será uno de los campos más interesantes en los próximos 1 o 2 años
• Edge AI también es un área de interés
  • Los modelos que corren en el dispositivo sin GPU han sido una aspiración de larga data
  • Tienen gran potencial para aplicarse en smartphones o dispositivos IoT
  • Hay proyectos open source muy activos como Mixtral, Ollama y Llama.cpp

14. IA generativa: ¿avanzando hacia la AGI o entrando en un estancamiento?

• A pesar del rápido avance de la tecnología, existe la preocupación de que la IA generativa pueda topar con límites por ① restricciones de recursos (cómputo, datos) o ② falta de capacidad de razonamiento
• Ya hubo debates similares en 2018, y desde entonces lo más visible ha sido el aumento en la inversión de recursos
• En el área de reasoning, ha habido avances significativos como AlphaGeometry de DeepMind
• Es difícil evaluar los límites de los recursos. La capacidad de cómputo sigue aumentando (NVIDIA Blackwell) y los datos también parecen tener margen de ampliación, por ejemplo mediante datos sintéticos
• Desde la perspectiva de quienes participan en el ecosistema startup, cuánto mejore GPT-5 frente a GPT-4 será un barómetro directo del ritmo de avance tecnológico
  • Incluso si el progreso de la IA generativa se detuviera por ahora, parece que seguiría habiendo suficientes oportunidades de negocio durante un tiempo

15. La guerra de las GPU (¿NVIDIA está sobrevalorada?)

• ¿Estamos entrando en una nueva era en la que la capacidad de cómputo será el recurso más valioso del mundo, o se trata de una burbuja causada por la sobreproducción de GPU?
• NVIDIA prácticamente monopoliza el mercado de GPU para IA y vive un auge, con su acción multiplicándose por cinco
  • También podría ser porque el dinero que los VC invirtieron en IA terminó fluyendo hacia NVIDIA
• Sin embargo, fabricar hardware (plantas de TSMC) no es tarea fácil, así que el destino de NVIDIA depende de la sostenibilidad del auge actual
• Hay desafíos de competidores como AMD e Intel, pero a largo plazo las perspectivas para los fabricantes de chips de IA parecen prometedoras

16. IA open source: ¿demasiado de algo bueno?

• En el último año, la IA open source ha recibido muchísima atención
  • Llama de Meta, Mistral y Gemma de Google han destacado, y HuggingFace también sigue creciendo al alojar una enorme cantidad de modelos
  • Gran parte del trabajo más innovador en IA generativa se está haciendo en la comunidad open source
• Pero también están apareciendo señales de exceso dentro de la comunidad open source
  • Se han publicado cientos de miles de modelos open source de IA, pero la mayoría son poco más que juguetes o proyectos de fin de semana
  • También hay muchos modelos que suben y bajan en los rankings, se vuelven famosos por unos días y luego desaparecen
• El mercado terminará depurándose y solo unos pocos proyectos open source exitosos recibirán apoyo de empresas de nube y otros actores. Pero hasta entonces, es probable que continúe la confusión

17. ¿Cuánto cuesta realmente la IA?

• La economía de la IA generativa es un tema que está evolucionando rápidamente
  • Para desafiar a Google en el mercado de búsqueda, hay que lograr que el costo de ofrecer respuestas basadas en IA sea menor que el de mostrar 10 enlaces
  • Las empresas de software basadas en IA deben evitar que los costos de inferencia se coman su margen bruto
• Para clientes y usuarios de modelos de IA, hay buenas noticias: la competencia de precios está llegando más rápido de lo esperado
  • Con la aparición de la IA open source y de proveedores comerciales de inferencia, el costo de cambiar de proveedor se ha vuelto muy bajo para los clientes, y eso está presionando a OpenAI y Anthropic
  • Un ejemplo es la baja simultánea de precios en los modelos de embeddings
• Desde la perspectiva de los proveedores, los costos de construir y ofrecer IA siguen siendo altos
  • Se dice que Anthropic gastó más de la mitad de sus ingresos en costos de nube
  • Los costos de licenciamiento de datos tampoco son menores
• Desde la perspectiva del usuario, una opción es disfrutar de servicios gratuitos subsidiados por VC

18. Las grandes tecnológicas y el cambio en la economía política de la IA: ¿ganó Microsoft?

• La pregunta planteada desde finales de 2022: ¿las big tech terminarán quedándose con la mayor parte del valor de la IA generativa?
• En IA, tener más datos, más capacidad de cómputo y más investigadores da ventaja. Las big tech lo saben bien y están respondiendo de forma agresiva.
• MS parece estar respondiendo de la manera más efectiva (como si jugara ajedrez en 4D)
  • Invirtió 13 mil millones de dólares en OpenAI
  • Se alió con el competidor open source Mistral
  • Adquirió a Inflection AI, rival de ChatGPT
  • Los ingresos de Azure también están creciendo con fuerza
• Google/Amazon se aliaron e invirtieron en Anthropic, y Amazon se asoció con Hugging Face
• Meta parece estar apostándolo todo por la IA open source
• También vale la pena poner atención a los cambios que llegan desde China
• La clave será cuánto espacio habrá para que crezcan las startups
  • Unas pocas, como OpenAI y Anthropic, aceleraron su despegue gracias a buenas alianzas
  • Pero el futuro de muchas startups sigue siendo incierto
  • La adquisición de Inflection AI y la crisis del CEO de Stability AI sugieren que las startups de “segunda línea” están pasando apuros

19. Fervor vs. cinismo con OpenAI

• OpenAI sigue siendo atractiva
  • Valuación de 86 mil millones de dólares, ingresos creciendo a gran velocidad, conflictos entre fundadores (?), Sam Altman como el Steve Jobs de esta generación
• Preguntas interesantes:
  • ¿OpenAI no estará intentando hacer demasiadas cosas? Parece querer abarcar todo en IA, tanto vertical como horizontalmente; ¿no será demasiado ambicioso?
    • Hay un precedente similar con Coinbase
    • Será un reto muy difícil en un contexto de competencia cada vez más intensa
    • Los problemas con ChatGPT y el bajo desempeño de su marketplace sugieren que OpenAI también podría enfrentar dificultades
  • ¿OpenAI y MS terminarán separándose?
    • El apoyo de MS ha sido de gran ayuda para OpenAI (recursos, clientes empresariales, etc.)
    • Pero MS deja claro que no depende de OpenAI (alianza con Mistral, adquisición de Inflection AI, etc.) y que también tiene suficiente capacidad propia en IA
    • Por otro lado, quizá OpenAI tampoco quiera depender solo de MS. Puede que quiera desplegarse en otras nubes
    • Considerando la enorme ambición de OpenAI y el afán de MS por dominar, no parece imposible que ambas terminen convirtiéndose en competidores

20. ¿Será 2024 el año de la IA empresarial?

• En 2023, la adopción de IA en las empresas se quedó en gran medida en pruebas de concepto
• El mayor beneficiado de la IA generativa en 2023 fue una empresa como Accenture, que obtuvo 2 mil millones de dólares en ingresos por consultoría de IA
• Hay expectativa de que 2024 sea el verdadero arranque de la IA generativa empresarial (la IA tradicional ya está bastante adoptada)
• Pero todavía hay muchas tareas pendientes:
  • Los casos de uso siguen limitados a algunas áreas, como copilotos para desarrolladores, gestión del conocimiento empresarial y chatbots de atención al cliente
  • No está claro qué herramientas elegir (comerciales/open source, modelos grandes/pequeños, horizontales/verticales, etc.; hace falta combinar opciones)
  • La escasez de talento es grave (si ya cuesta encontrar desarrolladores, imagínate ingenieros de ML)
  • Problemas como las alucinaciones y la caja negra representan riesgos serios para las empresas
  • Hace falta comprobar el ROI (hay algunos casos, como Palo Alto Networks, que habría reducido a la mitad los costos de gestión de viajes)
• Un punto positivo es que las empresas quieren financiar esto con presupuesto de OpEx, no solo con presupuesto de innovación
• Pero parece que la adopción a gran escala todavía tardará entre 3 y 5 años

21. ¿La IA matará al SaaS?

• Fue una de las ideas de moda durante el último año
• El argumento es que, si gracias a la IA la productividad al programar aumenta 10 veces y pequeños equipos pueden crear SaaS a la medida, entonces el SaaS existente dejaría de ser necesario
• O también que, si la IA se encarga de todo —RR. HH., finanzas, ventas, etc.—, entonces ya no haría falta software por separado
• Ninguno de los dos escenarios parece fácil de materializar en su forma completa
• Más bien, lo más probable es que la IA se integre dentro del SaaS existente y lo vuelva más poderoso

22. ¿La IA matará al venture capital?

• Más allá de si la IA puede automatizar la selección de empresas por parte de los VC y la creación de valor después de invertir, hace falta discutir si el tamaño de la clase de activos del VC es el adecuado para la era de la IA
• ¿El VC es demasiado pequeño?
  • Empresas como OpenAI necesitan miles de millones de dólares, e incluso más capital
  • Grandes corporativos como MS están aportando buena parte de esos recursos (probablemente en forma de capacidad de cómputo)
  • Algunos VC están invirtiendo en grandes empresas de modelos fundacionales, pero eso se aleja del modelo tradicional de inversión en software de VC
  • Puede que para invertir en IA se necesiten fondos de escala mega (se reportó que Arabia Saudita planea crear un fondo de IA de 40 mil millones de dólares en cooperación con VC de EE. UU.)
• ¿El VC es demasiado grande?
  • Si la IA multiplica por 10 la productividad de los desarrolladores y permite automatizar ventas y marketing
  • Quizá llegue una era en la que equipos pequeños, o incluso empresas de una sola persona, puedan generar cientos de millones de dólares en ingresos y salir a bolsa
  • Si una empresa unipersonal puede llegar a 100 millones de dólares en ingresos, ¿realmente necesitará capital de VC desde la fundación hasta el exit?

23. ¿La IA revivirá el mercado de consumo?

• ¿Podrá el mercado de consumo, estancado desde la era de las redes sociales y el móvil, recuperarse con la IA generativa?
• Áreas interesantes:
  • Búsqueda: startups como Perplexity AI y You.com, que le lanzan un reto a Google por primera vez en décadas y empujan la evolución de motores de búsqueda hacia motores de respuestas
  • Compañeros de IA: dejando de lado las preocupaciones distópicas, ¿qué pasaría si todos pudieran tener su propio acompañante infinitamente paciente y útil?
  • Hardware de IA: intentos interesantes de hardware de IA para consumidores como Humane, Rabbit y VisionPro
  • Entretenimiento hiperpersonalizado: a medida que las herramientas de IA generativa mejoran y se abaratan, ¿qué nuevas formas de entretenimiento y arte podrían surgir?

24. IA y blockchain: ¿absurdo o interesante?

• El cruce entre IA y cripto es material perfecto para memes de Twitter
• Pero también preocupa que recursos clave para la IA, como cómputo, datos y talento, se estén concentrando en unas pocas empresas
• La esencia de blockchain es permitir que los participantes compartan recursos y activos mediante redes distribuidas
• Hay un terreno interesante para explorar entre ambas cosas (es un tema que se viene pensando desde hace años)
• Llama la atención la aceleración de proyectos relacionados como Bittensor (plataforma de IA distribuida), Render (plataforma distribuida de renderizado con GPU) y Arweave (plataforma distribuida de datos)
• La clave será si la industria cripto podrá ayudarse a sí misma o si terminará degradándose en memecoins y estafas relacionadas con la IA

BONUS: temas que no se tocaron

• ¿La IA nos va a matar a todos? AI doomsday vs. aceleracionistas de la IA
• Regulación, privacidad, ética, deepfakes
• ¿La IA solo puede crearse en Silicon Valley?

[Part III: Financing, M&A & IPO]

Financiamiento

• Se está observando una clara dinámica de "historia de dos mercados", donde la inversión en IA y la inversión en otras áreas divergen de forma marcada
• La inversión general siguió cayendo y en 2023 registró 248.4 mil millones de dólares, una baja de 42%. En los primeros meses de 2024 se ve una leve recuperación, pero la tendencia sigue siendo similar
• La infraestructura de datos tuvo muchas dificultades para atraer inversión por varias de las razones ya mencionadas, y Sigma Computing y Databricks fueron casos excepcionales
• En cambio, la IA fue una historia completamente distinta
• Las características del mercado de inversión en IA fueron las siguientes:
  • El capital se concentró en un pequeño grupo de startups, especialmente OpenAI, Anthropic, Inflection AI y Mistral
  • Una proporción anormalmente alta de inversionistas corporativos (CVC), como Microsoft, Google y NVIDIA
  • Existe falta de transparencia en las operaciones de CVC entre el efectivo real y la "participación recibida a cambio de apoyo con poder de cómputo"
• Las operaciones más destacadas desde MAD 2023 fueron las siguientes (en orden cronológico, no es una lista completa):
  • OpenAI (desarrolladora representativa de modelos fundacionales): recaudó 10.3 mil millones de dólares en 2 rondas, valuación de 86 mil millones de dólares
  • Adept (desarrolladora de modelos fundacionales): levantó 350 millones de dólares, valuación de 1 mil millón de dólares
  • AlphaSense (plataforma de investigación financiera): levantó 475 millones de dólares en 2 rondas, valuación de 2.5 mil millones de dólares
  • Anthropic (desarrolladora de modelos fundacionales): levantó 6.45 mil millones de dólares en 3 rondas, valuación de 18.4 mil millones de dólares
  • Pinecone (plataforma de base de datos vectorial): levantó 100 millones de dólares, valuación de 750 millones de dólares
  • Celestial AI (plataforma de interconexión óptica): levantó 275 millones de dólares en 2 rondas
  • CoreWeave (nube de GPU): levantó 421 millones de dólares, valuación de 2.5 mil millones de dólares
  • Lightmatter (desarrolladora de chips ópticos): levantó 308 millones de dólares en 2 rondas, valuación de 1.2 mil millones de dólares
  • Sigma Computing (plataforma de analítica en la nube): levantó 340 millones de dólares, valuación de 1.1 mil millones de dólares
  • Inflection (desarrolladora de modelos fundacionales): levantó 1.3 mil millones de dólares, valuación de 4 mil millones de dólares
  • Mistral (desarrolladora de modelos fundacionales): levantó 528 millones de dólares en 2 rondas, valuación de 2 mil millones de dólares
  • Cohere (desarrolladora de modelos fundacionales): levantó 270 millones de dólares, valuación de 2 mil millones de dólares
  • Runway (desarrolladora de modelos generativos de video): levantó 191 millones de dólares, valuación de 1.5 mil millones de dólares
  • Synthesia (plataforma empresarial de generación de video): levantó 90 millones de dólares, valuación de 1 mil millón de dólares
  • Hugging Face (plataforma open source de ML): levantó 235 millones de dólares, valuación de 4.5 mil millones de dólares
  • Poolside (desarrolladora de modelos fundacionales para programación): levantó 126 millones de dólares
  • Modular (plataforma de desarrollo de IA): levantó 100 millones de dólares, valuación de 600 millones de dólares
  • Imbue (desarrolladora de agentes de IA): levantó 212 millones de dólares
  • Databricks (solución de datos/analítica/IA): levantó 684 millones de dólares, valuación de 43.2 mil millones de dólares
  • Aleph Alpha (desarrolladora de modelos fundacionales): levantó 486 millones de dólares
  • AI21 Labs (desarrolladora de modelos fundacionales): levantó 208 millones de dólares, valuación de 1.4 mil millones de dólares
  • Together (nube de IA generativa): levantó 208.5 millones de dólares en 2 rondas, valuación de 1.25 mil millones de dólares
  • VAST Data (plataforma de datos para deep learning): levantó 118 millones de dólares, valuación de 9.1 mil millones de dólares
  • Shield AI (piloto de IA para aeroespacial/defensa): levantó 500 millones de dólares, valuación de 2.8 mil millones de dólares
  • 01.ai (desarrolladora de modelos fundacionales): levantó 200 millones de dólares, valuación de 1 mil millón de dólares
  • Hadrian (fabricación de componentes para aeroespacial/defensa): levantó 117 millones de dólares
  • Sierra AI (chatbot de IA para servicio al cliente): levantó 110 millones de dólares en 2 rondas
  • Glean (búsqueda empresarial con IA): levantó 200 millones de dólares, valuación de 2.2 mil millones de dólares
  • Lambda Labs (nube de GPU): levantó 320 millones de dólares, valuación de 1.5 mil millones de dólares
  • Magic (desarrolladora de modelos fundacionales para programación): levantó 117 millones de dólares, valuación de 500 millones de dólares

M&A, operaciones privadas

• Desde MAD 2023, el mercado de M&A ha estado bastante tranquilo
• Muchas empresas tradicionales de software han mostrado mayor enfoque en sus propias acciones y en el negocio general que en el M&A
• En particular, el endurecimiento del entorno antimonopolio también ha sido una carga para los posibles compradores
• Los fondos de private equity (PE) se han movido con relativa actividad, buscando oportunidades baratas en un mercado deteriorado
• Las operaciones destacadas incluidas en MAD fueron las siguientes (por tamaño):
  • Broadcom (fabricante de semiconductores), adquisición de VMWare (empresa de nube), $69B
  • Cisco (infraestructura de redes/seguridad), adquisición de Splunk (monitoreo/observabilidad), $28B
  • Qualtrics (gestión de CX), salida de bolsa por Silver Lake/CPP, $12.5B
  • Coupa (plataforma de gestión de gastos), salida de bolsa por Thoma Bravo, $8B
  • New Relic (monitoreo/observabilidad), adquisición por Francisco Partners/TPG, $6.5B
  • Alteryx (plataforma de analítica), salida de bolsa por Clearlake/Insight, $4.4B
  • Salesloft (orquestación de ingresos), adquisición por Vista Equity, $2.3B
    • Vista también adquirió Drift, empresa de chatbots de IA para experiencia del cliente
  • Databricks (data lakehouse), adquisición de MosaicML (plataforma de desarrollo de IA), $1.3B
    • También realizó adquisiciones menores como Arcion y Okera
  • Thoughtspot (plataforma de analítica), adquisición de Mode Analytics (BI), $200M
  • Snowflake (data warehouse), adquisición de Neeva (motor de búsqueda con IA), $150M
  • DigitalOcean (nube), adquisición de Paperspace (desarrollo de IA), $111M
  • NVIDIA (chips de IA), adquisición de OmniML (optimización de IA en edge)
• La adquisición de Inflection AI por parte de Microsoft también fue un caso inusual
• Que 2024 se convierta en el año del M&A en IA dependerá del momentum del mercado
• En los submercados, muchas startups prometedoras de IA recibieron inversión durante los últimos 1-2 años. En booms anteriores de IA, después de la inversión inicial ocurrieron muchas adquisiciones de talento (acquihire) a valuaciones muy altas frente a resultados. El talento en IA sigue siendo escaso
• En la parte alta del mercado, la convergencia entre las plataformas líderes de datos y las plataformas de IA está ganando impulso, aunque los precios probablemente no serán bajos

IPO

• La IA también fue un tema candente en la bolsa. Las acciones del "Magnificent 7" (NVIDIA, Meta, Amazon, Microsoft, Alphabet, Apple y Tesla) subieron más de 49% en 2023 y lideraron el alza general del mercado
• Sin embargo, siguen faltando muchas acciones puramente de IA. Las pocas que existen cotizan con prima (las acciones de Palantir subieron 167% en 2023)
• Esto probablemente sea una buena noticia para muchas startups candidatas a IPO relacionadas con IA. Encabezadas por Databricks, varias empresas de tamaño considerable como Celonis, Scale AI, Dataiku y Fivetran se están preparando para salir a bolsa
• También será interesante ver qué postura tomarán OpenAI y Anthropic respecto a una salida a bolsa
• Mientras tanto, el mercado de IPO en 2023 fue muy débil. Solo unas pocas empresas relacionadas con MAD lograron cotizar:
  • Klaviyo (automatización de marketing): salió a bolsa en septiembre de 2023, valuación de $9.2B
  • Reddit (provee licencias de contenido a empresas de IA): salió a bolsa en marzo de 2024, valuación de $6.4B
  • Astera Labs (semiconductores para IA/nube): salió a bolsa en marzo de 2024, valuación de $5.5B

Conclusión

• Estamos viviendo un momento muy especial. Estamos al inicio de un cambio de paradigma.
• Es momento de experimentar y probar cosas nuevas. Apenas estamos empezando

[xguru]

The 2020 Data & AI Landscape
Mapa de la industria de datos/ML/AI de 2021 y tendencias más recientes