Mistral: primeros endpoints de IA, con acceso anticipado disponible

Lanzamiento beta del nuevo servicio de plataforma de Mistral AI

• Mistral AI ofrece a los desarrolladores modelos generativos abiertos y potentes, junto con formas de desplegarlos y personalizarlos de manera eficiente.
• Hoy comienza el acceso beta a su primer servicio de plataforma, que ofrece tres endpoints de chatbot para generar texto a partir de instrucciones de texto y un endpoint de embeddings.
• Cada endpoint tiene una relación distinta entre rendimiento y precio.

Endpoints de generación

• mistral-tiny y mistral-small usan los dos modelos publicados actualmente, mientras que mistral-medium usa un modelo prototipo que se está probando en entorno de despliegue.
• Los modelos integran las técnicas de alineación más efectivas, como ajuste fino eficiente y optimización directa de preferencias, para crear modelos que los usuarios puedan controlar fácilmente y que resulte agradable usar.
• Mistral-tiny solo admite inglés, Mistral-small admite varios idiomas y código, y Mistral-medium está evaluado como uno de los modelos de servicio de nivel más alto.

Endpoint de embeddings

• Mistral-embed ofrece un modelo de embeddings pensado para búsqueda, con una dimensión de embedding de 1024.
• Este modelo de embeddings logró una puntuación de recuperación de 55.26 en MTEB.

Especificación de la API

• La API sigue la especificación de la popular interfaz de chatbot propuesta inicialmente por un competidor.
• Ofrece bibliotecas cliente para Python y Javascript con las que se pueden consultar los endpoints.
• Los endpoints permiten proporcionar system prompts para que los usuarios configuren un nivel más alto de moderación sobre la salida del modelo.

De acceso beta a disponibilidad general

• Desde hoy, cualquiera puede registrarse y usar la API, y la capacidad se irá ampliando de forma gradual.
• El equipo de negocios puede ayudar a entender los requisitos y acelerar el acceso.
• Puede haber partes inestables mientras estabilizan la plataforma para que sea completamente autoservicio.

Agradecimientos

• Agradecen a NVIDIA por apoyar la integración de TensorRT-LLM y Triton, y por colaborar en la creación de una mezcla dispersa de expertos compatible con TRT-LLM.

Opinión de GN⁺

• Lo más importante de este artículo es que Mistral AI pone a disposición de los desarrolladores nuevos modelos generativos y de embeddings, lo que les permite usar mejores capacidades de generación de texto y embeddings.
• Estas tecnologías impulsarán el avance de la inteligencia artificial, y la capacidad de admitir varios idiomas y código ampliará enormemente sus posibilidades de aplicación en el mercado global.
• Para los desarrolladores, esto representa una oportunidad emocionante para crear proyectos y soluciones innovadoras mediante nuevas herramientas y APIs, y es una noticia que eleva las expectativas sobre el futuro de la tecnología.

[GN⁺]

Opiniones en Hacker News

• Una empresa pequeña (de unas 30 personas) alcanza una valuación de 2 mil millones de dólares y logró crear el mejor modelo de 7 mil millones y un modelo MOE de 7 mil millones*8. Estos modelos ofrecen el rendimiento de un modelo de 70 mil millones mientras requieren solo la potencia de inferencia de uno de 14 mil millones. Esto podría representar una amenaza mayor para OpenAI y, con la inversión reciente, pronto podrían escalar para soportar la carga de tráfico y atraer a los mejores investigadores decepcionados con diversos problemas de la industria.
• El modelo Mistral-medium supera por amplio margen en benchmarks a GPT-3.5 y al modelo Gemini Pro de Google. Se espera que el rendimiento real sea tan impresionante como en los benchmarks, y que los filtros de seguridad se ofrezcan de forma opcional también es una gran ventaja para aplicaciones seguras.
• Se reveló el precio de Mistral. Mistral-medium cuesta 8 dólares por millón de tokens de salida, y Mistral-small 1.94 dólares, lo que sugiere que son competitivos frente a los precios de GPT-3.5 y GPT-4.
• El servidor TextSynth de Fabrice Bellard empezó a dar soporte al modelo Mistral 7B. Se añadieron funciones como soporte para CUDA, gramática BNF y muestreo con esquemas JSON.
• La competencia es la forma en que el mundo avanza. Da gusto ver a jugadores pequeños y grandes con modelos competitivos. Es una lástima que, al publicar benchmarks, se usen métodos de prueba ajustados para favorecerse. Hace falta un esfuerzo con benchmarks abiertos para comparar de forma justa los principales modelos.
• Falta discusión sobre las limitaciones en el tamaño de contexto de estos modelos. La técnica de sliding window en la práctica limita la memoria a unos 8k tokens, lo que es insuficiente para muchas tareas. Los modelos derivados de Llama2 necesitan fine-tuning no solo por la cantidad de parámetros, sino también por el contexto reducido que ofrecen.
• "Endpoints con acceso anticipado" en realidad significa "lista de espera para acceso anticipado a los endpoints". El acceso a la API actualmente es solo por invitación, y avisarán cuando sea posible suscribirse al acceso a los mejores modelos.
• Haber superado a ChatGPT-3.5 es realmente un logro impresionante. GPT-3.5 no alcanza para las cosas cotidianas, así que hay muchas expectativas puestas en GPT-4.
• La API de Mistral sigue la especificación de una interfaz de chat popular propuesta por un competidor. Eso resulta divertido y me gusta.
• Mistral-embed ofrece un modelo de embeddings de 1024 dimensiones, diseñado pensando en la capacidad de búsqueda. Logró una puntuación de recuperación de 55.26 en MTEB. Aún no hay información sobre si este modelo de embeddings se ofrecerá como open source.