‘Inferact’, fundada por los creadores de vLLM, consigue una inversión semilla de 150 millones de dólares para comercializar el motor de inferencia open source

Resumen:

• La startup ‘Inferact’, fundada por los creadores de vLLM, un motor open source de inferencia para LLM, consiguió una inversión semilla de 150 millones de dólares (aprox. 210 mil millones de wones), alcanzando una valoración de 800 millones de dólares.
• La ronda fue liderada por a16z y Lightspeed, y los fondos se usarán para construir una plataforma de inferencia de IA de nivel empresarial basada en vLLM y expandir su comercialización.
• Inferact busca ofrecer una infraestructura de inferencia de alto rendimiento y bajo costo para que las empresas puedan desplegar y operar grandes modelos de lenguaje (LLM) de forma eficiente en diversos entornos de hardware.

Resumen detallado:
Esta gran inversión semilla de Inferact muestra que la eficiencia de la infraestructura de IA, especialmente en la etapa de “inferencia”, es hoy uno de los desafíos clave del mercado.

1. Relación entre Inferact y vLLM

   • Inferact es una empresa fundada por los creadores principales del proyecto vLLM, actualmente uno de los motores open source de serving para LLM más usados. Está liderada por su CEO, Simon Mo.
   • vLLM resolvió los cuellos de botella de memoria con el algoritmo ‘PagedAttention’ y, al ofrecer un mayor throughput frente a soluciones existentes, se ha consolidado entre los desarrolladores como un estándar de facto.

2. Tamaño de la inversión y contexto

   • 150 millones de dólares (ronda semilla): una cifra inusual que supera ampliamente una ronda semilla típica, lo que refleja la demanda explosiva del mercado por reducir costos de inferencia y optimizar rendimiento.
   • Valoración de 800 millones de dólares: incluso antes de una comercialización a gran escala del producto, se valoró altamente la influencia ya existente de vLLM y su moat tecnológico.
   • Inversionistas principales: la ronda fue liderada por las firmas de venture capital de Silicon Valley Andreessen Horowitz (a16z) y Lightspeed Venture Partners.

3. Objetivos técnicos y hoja de ruta

   • Comercialización empresarial: sobre la base del vLLM open source, construirán una plataforma comercial orientada a empresas que incluya servicios administrados, seguridad y soporte técnico.
   • Expansión de compatibilidad de hardware: además de las GPU de NVIDIA, planean ampliar el soporte para lograr rendimiento óptimo en aceleradores como AMD y AWS Inferentia.
   • Optimización del costo de inferencia: así como empresas como Stripe ya han logrado reducir en más de 70% sus costos de inferencia con frameworks similares a vLLM, Inferact busca ayudar a las empresas a ofrecer servicios con LLM de forma más rápida y económica.

4. Impacto en el ecosistema de desarrolladores

   • Al mismo tiempo que se asegura la sostenibilidad del proyecto open source vLLM, las organizaciones que quieren funciones empresariales ahora tendrán una opción de pago clara.
   • Se espera que, al abstraer el complejo proceso de optimización de modelos, se cree un entorno en el que los ingenieros de ML puedan concentrarse en desarrollar aplicaciones de modelos en lugar de administrar infraestructura.

[darjeeling]

Que vLLM haya recaudado 150 millones de dólares confirma que hemos pasado de la «era del rendimiento» a la era de la «latencia (arranque en frío)».

https://reddit.com/r/LocalLLaMA/…