- a16z considera que la IA de código abierto es una base clave del ecosistema de IA y lanzó Open Source AI Grant para reducir la brecha de recursos entre desarrolladores
- A medida que aumentan los modelos de código abierto que compiten con los modelos cerrados, el fine-tuning y el trabajo de optimización de personas y equipos pequeños está elevando la utilidad de estos modelos
- Pueden postular proyectos que amplíen las fronteras técnicas, como instruction-tuning, LLM sin censura, cuantización para ejecución local, herramientas de inferencia e investigación de seguridad en LLM
- A medida que crece la escala de los modelos, la IA de código abierto requiere muchos recursos de cómputo con GPU incluso para el fine-tuning, por lo que la carga de recursos es mayor que en proyectos tradicionales de infraestructura
- Esta subvención no es una inversión ni una SAFE note, por lo que quienes la reciban pueden continuar su trabajo de código abierto sin presión por generar retornos financieros
Anuncio de a16z Open Source AI Grant
- a16z apoya a un pequeño grupo de desarrolladores de código abierto mediante subvenciones a través del programa Open Source AI Grant
- El apoyo económico no es una inversión ni una SAFE note, y está diseñado para que los desarrolladores puedan seguir trabajando sin la presión de tener que generar rendimientos financieros
- a16z considera que un ecosistema de código abierto próspero es esencial para construir el futuro de la IA
IA de código abierto que compite con modelos cerrados
- En el ecosistema de código abierto están surgiendo modelos open source que compiten con alternativas cerradas
- Cientos de equipos pequeños e individuos trabajan para hacer que los modelos sean más útiles, accesibles y de mejor rendimiento
- Estos proyectos elevan el nivel técnico de la IA de código abierto y ayudan a fomentar una comprensión más sólida e inclusiva de la tecnología
Por qué los recursos de GPU se vuelven un cuello de botella
- Quienes crean estos proyectos muchas veces no cuentan con los recursos necesarios para llevar su trabajo hasta el final o sostenerlo a largo plazo
- En los proyectos de IA, el problema de recursos se hace más visible que en la infraestructura tradicional
- Incluso el fine-tuning de modelos requiere una cantidad considerable de recursos de cómputo con GPU
- Cuanto más grandes son los modelos de código abierto, más recursos se necesitan
Áreas de trabajo a las que apunta la subvención
- El apoyo incluye distintas tareas para aumentar la utilidad práctica de modelos y herramientas de IA de código abierto
- instruction-tuning para LLM base
- fine-tuning de LLM sin censura
- optimización para ejecutar modelos en máquinas de bajo consumo
- creación de nuevas herramientas para la inferencia de modelos
- investigación sobre problemas de seguridad en LLM
- otros trabajos relacionados con IA de código abierto
Primeros beneficiarios de la subvención y sus proyectos
- Jon Durbin (Airoboros): instruction-tuning de LLM basado en datos sintéticos
- Eric Hartford: fine-tuning de LLM sin censura
- Jeremy Howard (fast.ai): fine-tuning de modelos fundacionales para aplicaciones verticales
- Tom Jobbins (TheBloke): cuantización de LLM para ejecución local
- Woosuk Kwon and Zhuohan Li (vLLM): biblioteca de inferencia de LLM de alto rendimiento
- Nous Research: nuevos modelos de lenguaje ajustados, similares a las series Nous Hermes y Puffin
- oobabooga: interfaz web y plataforma para LLM locales
- Teknium: pipeline de datos sintéticos para entrenamiento de LLM
1 comentarios
Opiniones en Hacker News
Soy uno de los beneficiarios del AI grant, y le agradezco mucho a a16z por apoyar el trabajo que hacemos en fast.ai.
Mi grant se usó para comprar un servidor Scalar de Lambda Labs, que pudimos configurar con 8 GPU A6000 de la generación anterior.
Esto también fue posible gracias a que NVIDIA aportó recientemente 3 de ellas y Lambda Labs las ofreció a precio de costo.
a16z no pidió ninguna participación ni contraprestación, salvo comunicar que otorgó este grant, y el proceso fue muy fluido.
Casi no hubo formularios; solo firmamos un contrato de una página. El contrato era claro y justo, especificaba que a16z no recibía ningún derecho, y el dinero para comprar el servidor se transfirió de inmediato.
La primera corresponde a la arquitectura Ampere, equivalente a la serie GeForce 30, y la segunda a la arquitectura Ada, equivalente a la serie GeForce 40.
Parece que Nvidia está convencida de que puede poner nombres de generaciones tecnológicas tan mal como el USB Implementers Forum.
Ojalá pasen más cosas así, y mucha suerte con el trabajo de jph00.
Gente de HN, nos da mucho gusto anunciar esta nueva iniciativa.
Este programa está diseñado para apoyar a personas, equipos y hackers que no están buscando crear una empresa comercial.
Aun así, estos proyectos empujan la frontera de la IA open source y ayudan a tener una comprensión más sólida e inclusiva de cómo avanza la tecnología.
Nos enorgullece contribuir aunque sea un poco, y agradecemos al primer cohort y a todos los que aportan a este campo.
Me pregunto si, para que una persona contribuya a este campo con distintas ideas de datos de entrenamiento, primero tiene que probarse a sí misma y conseguir atención, o si hay alguna forma de presentar una propuesta.
En mi caso, el costo de cómputo es bastante alto: puedo costear algunas pruebas de concepto, pero no mucho más, y con una sola 4090 no puedo correr llama70b a más de 1it/s.
Me da mucho gusto ver a oobabooga en la lista.
Todos contribuyen de maneras distintas, y ooba funciona como un portal excelente para probar varios modelos.
En el README también dice que quiere ser algo así como el automatic 1111 de la generación de texto.
Para principiantes como yo, ooba es un buen punto de entrada para explorar este nuevo mundo.
Al ver a los beneficiarios actuales del grant, quiero felicitarlos.
Todos son personas o equipos de gran impacto, y queda claro que investigaron bien para poner el dinero donde debía ir.
Pregunta de principiante: si tuviera 25,000 dólares, ¿cuántas GPU podría comprar para ayudar a apoyar a los “GPU Poor”?
Me pregunto si existe alguna guía DIY para montar algo así por cuenta propia.
No es tanto que quiera donar efectivo, sino que quisiera montar algunas GPU de alguna forma para que la gente pueda usarlas a precio de costo.
Los servidores 8xA100 u 8xH100 que la mayoría querría correr cuestan más de 200 mil dólares y, aunque tengas el dinero, probablemente hoy sean muy difíciles de conseguir.
Quizá no puedas limitarlo a un grupo específico de usuarios, pero quienes usan vast.ai suelen ser más bien empresas pequeñas, individuos e investigadores, no grandes corporaciones, así que en la práctica estarías ayudando a los “GPU Poor”.
Una A100 cuesta alrededor de 2 dólares por hora, y la parte difícil es conseguir cuotas grandes.
De todos modos, los trabajos de entrenamiento suelen ser bastante irregulares: es común correr muchos experimentos pequeños antes de una gran ejecución única.
Esto está realmente genial.
Veo muchas herramientas que uso en la lista, y me alegra que reciban apoyo financiero.
Ojalá Ollama también entre pronto en la lista.
Tengo una idea interesante que quiero probar, pero probablemente necesite algunas horas de 8X A100 y datos al estilo EvolveInstruct, así que creo que costaría más de 1,000 dólares.
Voy a intentar preparar el código para ver si puedo sumarme al grant #2.
Muchas gracias también por el comentario; también nos estamos reuniendo con la gente de Ollama.
¿Qué otros proyectos open source de LLM hay de los que dependa la gente?
Lo pregunto para buscar ideas de futuros beneficiarios de grants.
Es una buena iniciativa, la primera selección es excelente y es una forma muy buena de usar las comisiones de gestión.
Me cuesta pensar en más candidatos porque TheBloke, vLLM y oobabooga, que yo habría recomendado, ya están incluidos.
Como posibles beneficiarios futuros se me ocurren MLC LLM, ExLlama, un fork open source de text-generation-inference y AutoGPTQ.
Felicitaciones a las personas involucradas.
Aunque entiendo que esto tiene cierto componente de branding/marketing, me gusta ver que a16z últimamente se alinea más con resolver problemas reales que con crypto o con producir medios superficiales, como en años recientes.
Ojalá sigan así, y que más “thought leaders” y firmas de capital de riesgo los imiten.
La única diferencia es que ahora lo salvan con IA, no con crypto.
https://a16z.com/2023/06/06/ai-will-save-the-world/
Pero, sin querer defender “Crypto”, creo que el criterio de qué cuenta como problema real es bastante subjetivo.
Por ejemplo, para muchas personas y empresas, aumentar el CTR de anuncios y reducir las comisiones de crypto/gas también pueden ser problemas y necesidades reales; simplemente quizá ese problema no sea importante para mí.
Sorprendente.
La primera selección es realmente sólida, y una gran parte de la experimentación orgánica que ocurre de manera natural depende directamente de ellos.
Me alegra mucho que se impulse “Eric Hartford: fine-tuning de LLM sin censura”.
Los LLM van a ser herramientas muy valiosas, y es bastante inquietante que estas herramientas tengan censura incorporada.
Es como imaginar que Word te impidiera escribir “malas palabras” en nombre de la seguridad y la ética.