- En los primeros días de la computación de alto rendimiento, las principales empresas tecnológicas desarrollaron sus propias versiones cerradas de Unix
- Con el tiempo, Linux de código abierto ganó popularidad y hoy se convirtió en el estándar de la computación en la nube y de los sistemas operativos móviles
- Se espera que el AI evolucione de manera similar
- Actualmente varias empresas tecnológicas están desarrollando modelos cerrados, pero el código abierto se está poniendo al día rápidamente
- El año pasado, Llama 2 se quedó atrás frente a la generación anterior de modelos, pero este año Llama 3 alcanzó un nivel capaz de competir con los modelos más avanzados
- Se espera que a partir del próximo año los modelos Llama estén entre los más avanzados de la industria
- Llama ya lidera en apertura, capacidad de modificación y eficiencia de costos
- Ahora estamos dando el siguiente paso para que el AI de código abierto se convierta en el estándar de la industria
- Meta anunció hoy Llama 3.1 405B, el primer modelo de AI de código abierto de última generación, junto con los modelos Llama 3.1 70B y 8B
- Tiene un rendimiento por costo muy superior al de los modelos cerrados, y el hecho de que el modelo 405B sea de código abierto lo convertirá en la mejor opción para ajustar finamente y refinar modelos más pequeños
- Estamos colaborando con distintas empresas para hacer crecer un ecosistema más amplio
- Trabajamos con Amazon, Databricks, NVIDIA y otros para ofrecer un conjunto completo de servicios que apoyen el ajuste fino y la destilación de modelos de AI
- Groq está construyendo servicios de inferencia de baja latencia y bajo costo
- Los modelos están disponibles en todas las principales nubes, incluyendo AWS, Azure, Google y Oracle
- Scale.AI, Dell, Deloitte y otros ayudan a las empresas a adoptar Llama y entrenar modelos personalizados con sus propios datos
- A medida que la comunidad crezca y más empresas desarrollen nuevos servicios, podremos convertir a Llama en el estándar de la industria y llevar los beneficios del AI a todos
- Meta está comprometida con el AI de código abierto.
- Por qué creemos que el código abierto es el stack de desarrollo más adecuado para ustedes,
- por qué hacer de Llama un proyecto de código abierto es bueno para Meta,
- y por qué el AI de código abierto es bueno para el mundo,
- y por eso explicamos la plataforma que existirá a largo plazo
Por qué el AI de código abierto es bueno para los desarrolladores
- Puedes entrenar, ajustar finamente y destilar modelos por tu cuenta: cada organización puede adaptarlos al tamaño de modelo óptimo usando sus propios datos
- Mantienes independencia sin depender de proveedores cerrados: el código abierto ofrece un ecosistema de herramientas compatibles que permite moverse con libertad
- Protección de datos: es posible procesar datos sensibles en modelos propios sin enviarlos a APIs en la nube
- Eficiencia de costos: el modelo Llama 3.1 405B permite hacer inferencia por un costo aproximadamente 50% menor que el de modelos cerrados
- Inversión en un estándar de largo plazo: el código abierto está avanzando más rápido que los modelos cerrados
Por qué el AI de código abierto es bueno para Meta
- El modelo de negocio de Meta consiste en ofrecer las mejores experiencias y servicios.
- Para lograrlo, necesita tener siempre acceso a tecnología de punta y no quedar atada a ecosistemas cerrados de competidores
- La experiencia de construir servicios sobre la plataforma de Apple mostró las limitaciones de los ecosistemas cerrados.
- Si se construye un ecosistema abierto, se pueden ofrecer mejores servicios
- Existe la preocupación de que abrir el código implique renunciar a una ventaja tecnológica, pero eso pierde de vista el panorama general
- Desarrollo del ecosistema: Llama debe evolucionar hacia un ecosistema completo con herramientas, mejoras de eficiencia, optimización para silicon y otras integraciones. Si Meta fuera la única empresa que usa Llama, el ecosistema no avanzaría
- Mantener la competitividad: el desarrollo de AI será extremadamente competitivo, así que abrir el código no significa renunciar a una gran ventaja tecnológica. Llama debe ser competitivo, eficiente y abierto en cada generación
- Diferencia de modelo de negocio: vender acceso a modelos de AI no es el modelo de negocio de Meta, por lo que hacer open source a Llama no perjudica sus ingresos, sostenibilidad ni capacidad de invertir en investigación. Esta es una de las razones por las que varios proveedores cerrados hacen lobby ante el gobierno contra el código abierto
- Experiencia con código abierto: Meta tiene una historia de proyectos open source exitosos. A través de Open Compute Project publicó diseños de servidores, redes y centros de datos, ahorrando miles de millones de dólares. También abrió herramientas como PyTorch y React, beneficiándose de la innovación del ecosistema. Este enfoque ha sido consistentemente favorable para Meta a largo plazo
Por qué el AI de código abierto es bueno para el mundo
- El código abierto es esencial para un futuro positivo del AI
- El AI puede aumentar la productividad, la creatividad y la calidad de vida, acelerar el crecimiento económico y hacer posibles avances en salud e investigación científica
- El código abierto permite que más personas accedan a los beneficios y oportunidades del AI, y evita que el poder se concentre en unas pocas empresas
- Ayuda a que la tecnología de AI se distribuya de manera más equitativa y segura en toda la sociedad, y el código abierto es más seguro porque se desarrolla de forma transparente
- Mi marco para entender la seguridad es que debemos protegernos de dos categorías de daño
- Daños no intencionales: cuando sistemas de AI causan perjuicios sin querer
- Ejemplos: dar consejos de salud incorrectos, autorreplicación o una optimización excesiva de objetivos
- Daños intencionales: cuando usuarios maliciosos usan modelos de AI para causar daño
- Los daños no intencionales representan la mayor parte de las preocupaciones
- Ejemplos: el impacto de los sistemas de AI en las personas, o escenarios de ciencia ficción en los que el AI daña a los humanos
- El código abierto es más seguro para prevenir daños no intencionales porque los sistemas son más transparentes y pueden ser revisados más ampliamente
- Modelos open source como Llama podrían ser más seguros y confiables que los modelos cerrados gracias a sistemas de seguridad como Llama Guard
- Estamos trabajando para evaluar la nocividad de los modelos y mitigar riesgos, incluyendo pruebas rigurosas y ejercicios de red teaming
- Los modelos se publican para que cualquiera pueda probarlos.
- Dado que los modelos de AI aprenden de la información de internet, hay que considerar si pueden causar más daño que la información ya existente
- Consideraciones sobre los daños intencionales
- Debemos distinguir entre actores pequeños y actores grandes
- En el futuro, individuos maliciosos podrían usar modelos de AI para crear nuevos daños
- El AI debe desplegarse ampliamente para que los actores grandes puedan contrarrestar el poder de actores maliciosos pequeños
- Cuando grandes instituciones despliegan AI a gran escala, se promueven la seguridad y la estabilidad en toda la sociedad
- La respuesta de Estados Unidos y de las democracias
- La fortaleza de Estados Unidos es la innovación abierta y descentralizada
- Algunos sostienen que los modelos deben mantenerse cerrados para impedir que China acceda a ellos, pero eso no es efectivo
- Como el espionaje es muy eficaz, es fácil que los modelos sean robados
- Un mundo con solo modelos cerrados dejaría el acceso en manos de unas pocas grandes empresas y países adversarios, mientras que startups, universidades y pequeñas empresas probablemente perderían la oportunidad
- Si la innovación estadounidense se limita al desarrollo cerrado, será difícil mantener el liderazgo
- Hay que construir un ecosistema abierto y colaborar con gobiernos y aliados para maximizar los beneficios de la tecnología más avanzada
- El AI de código abierto es la mejor forma que tiene el mundo de aprovechar al máximo las oportunidades económicas y la seguridad
- Las principales empresas tecnológicas y la investigación científica de hoy se basan en software de código abierto
- La próxima generación de empresas e investigación también usará AI de código abierto
Construyámoslo juntos
- Meta está adoptando un enfoque distinto al de los modelos Llama anteriores
- Hemos formado equipos internamente para apoyar a la mayor cantidad posible de desarrolladores y socios para que puedan usar Llama
- Estamos construyendo activamente alianzas para que más empresas del ecosistema puedan ofrecer capacidades únicas a sus clientes
- Creemos que el lanzamiento de Llama 3.1 será un punto de inflexión para la industria, en el que la mayoría de los desarrolladores comenzarán a usar principalmente código abierto
5 comentarios
Por lo que ha hecho Meta, parece muy probable que termine permitiendo daños, ya sean no intencionales o deliberados. En lo personal, considero que Zuckerberg es una persona en quien no se puede confiar.
¿Llama es de código abierto? No.
Datos de entrenamiento = código fuente
Esta vez el modelo Llama 3.1 se publicó como open source. Sin embargo, los datos de entrenamiento no son públicos. En IA y deep learning, los datos de entrenamiento son el "código fuente" y el modelo es algo así como una app. Por lo tanto, en realidad no se puede decir que Llama sea de código abierto. Simplemente lanzaron una app gratuita de modelo de lenguaje.
¿Existe la posibilidad de que Meta publique los datos de entrenamiento de Llama? No.
Los datos de entrenamiento de Llama incluyen tan solo en texto 15 billones de tokens, y para el entrenamiento multimodal probablemente también haya datos de imágenes, video y audio. Es posible que una parte importante de esos datos sea información de usuarios de Facebook o Instagram, entre otros. Por eso, hacerlos públicos generaría grandes problemas sociales de propiedad de datos y derechos de autor, así que se estima que Meta no podrá publicar esos datos aunque quisiera hacerlo.
Meta, qué genial.
Opiniones de Hacker News
El lenguaje sobre la IA de código abierto es confuso
Hay grandes ventajas para startups de IA y desarrolladores
Meta es una de las pocas grandes empresas de IA que ofrece modelos abiertos
El modelo de ingresos publicitarios de Meta merece atención
Meta busca posicionarse como la campeona del código abierto en IA