Un nuevo Language Model Stack para aplicaciones de IA

• Casi todas las empresas en las que ha invertido Sequoia están incorporando LLM como ChatGPT en sus productos
• A través de una investigación sobre las empresas dentro de su red, organizaron dos stacks de IA

Stack de API de LLM

• APIs de LLM: OpenAI, Anthropic, Cohere
• Base de datos vectorial: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
• Frameworks: LangChain, LlamaIndex, Anarchy
• Texto a voz: Resemble.AI, ElevenLabs, Wellsaid
• Monitoreo: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks

Stack de entrenamiento / ajuste de modelos personalizados

• Cómputo: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
• Hub de modelos: Hugging Face, Replicate
• Frameworks: PyTorch, TensorFlow
• Experimentación: Weights & Biases
• Monitoreo/observabilidad: Robust Intelligence, Gantry, Arthur, arise, Whylabs
• Hosting: Replicate, HuggingFace

Puntos clave

• La mayoría de las empresas están integrando LLM en sus productos
• Enfoque en APIs de modelos de lenguaje, búsqueda y orquestación. El uso de open source está aumentando
• Las empresas quieren adaptar y personalizar los modelos de lenguaje a su propio contexto
• Actualmente, el stack de API de LLM y el stack de entrenamiento de modelos parecen estar separados, pero cada vez se integrarán más
• El stack se está volviendo cada vez más amigable para desarrolladores
• Para que los modelos de lenguaje se adopten por completo, es necesario mejorar su confiabilidad (calidad, privacidad de datos y seguridad)
• Las aplicaciones de modelos de lenguaje serán cada vez más multimodales
• Aún estamos en una etapa muy temprana

[gcback]

Se entiende bien la situación actual del entorno de desarrollo.
Pero en el caso de Corea, ¿en qué nivel estará?

[bigbreadguy]

Creo que Seaviate en la lista de Vector DB es un error tipográfico de Weaviate, que es una base de datos vectorial.

[xguru]

Lo arreglé rapidísimo jaja