Por qué gobiernos, empresas y organizaciones sin fines de lucro deben invertir en IA libre y de código abierto
(siegelendowment.org)- El software es tanto un activo comercial como un sistema de conocimiento que mejora cuanto más se comparte; como demostraron GCC y GNU/Linux, el código abierto se convirtió en una base que sostiene el internet moderno y la industria tecnológica
- Al abrir el código, desarrolladores de todo el mundo pueden encontrar y corregir fallas, y la próxima generación de ingenieros puede aprender cómo se construyen sistemas de vanguardia; así, la transparencia contribuye tanto a la seguridad como a la formación de talento
- Si la IA de frontera se concentra en modelos cerrados de unas pocas empresas, a los investigadores les resulta difícil verificar el proceso de construcción y los datos de entrenamiento, y también se vuelve difícil auditar por completo los juicios científicos, médicos, de ingeniería y judiciales que dependen de la IA
- Como el software de IA en sí mismo es una capacidad, existen riesgos al hacerlo público; pero los modelos cerrados también son vulnerables a filtraciones y jailbreaks, y además provocan una concentración de poder en la que unas pocas empresas deciden qué tecnologías se permiten
- No toda IA de código abierto necesita igualar la escala de los modelos de frontera; gobiernos, empresas y organizaciones sin fines de lucro deben invertir en apoyo público de cómputo, financiamiento a universidades e investigación sin fines de lucro, y en el principio de apertura por defecto para la IA creada con fondos públicos
El debate en torno al software libre
- En la década de 1980, durante casi dos años de debate con Richard Stallman en el MIT AI Lab, predominaba la creencia convencional de que el avance del software requería que las empresas controlaran el código de forma exclusiva
- Stallman sostenía que el software es un medio que contiene conocimiento, por lo que cualquiera debería poder usarlo, estudiarlo y mejorarlo; ocultar el código dentro de las empresas equivalía a ocultar el conocimiento mismo
- Ambas partes coincidían en que las computadoras se convertirían en una herramienta clave para acelerar el progreso humano, pero discrepaban sobre cómo alcanzar ese objetivo
- A través del debate, fue ganando fuerza la idea de que el software no es solo un activo comercial, sino un sistema de conocimiento que se fortalece cuando se comparte
- El principio de Stallman de garantizar a los usuarios la libertad de estudiar, modificar, mejorar y compartir el software se convirtió en la base del movimiento del software libre y, más tarde, del código abierto
GCC y GNU/Linux demostraron el desarrollo abierto
- GCC, creado por Stallman, traduce el código del mundo a lenguaje de máquina ejecutable por computadoras y se consolidó como un programa esencial que sigue usándose hasta hoy
- Ese éxito fue posible no solo por el trabajo de una persona, sino por las contribuciones de miles
- GNU/Linux, surgido del mismo espíritu de desarrollo abierto, hoy impulsa gran parte de internet
- El entorno tecnológico moderno depende en gran medida de los principios del desarrollo abierto y del código abierto
El efecto de la apertura en la seguridad y el aprendizaje
- Al principio, uno de los principales contraargumentos era la lógica de la seguridad por oscuridad: para proteger las computadoras, había que ocultar el software
- El software transparente permite que una comunidad global de desarrolladores detecte y corrija problemas, mientras que el software cerrado debe confiar en que nadie mire lo suficientemente profundo en su interior
- La comunidad de código abierto difunde ampliamente el conocimiento sobre cómo construir software y también cumple el rol de manual de facto con el que aprende una generación de ingenieros
- Si todos los sistemas de vanguardia se ocultan, queda muy poco que aprender de sistemas bloqueados, lo que dificulta formar a la próxima generación de innovadores
El ecosistema de código abierto que sostiene a la industria tecnológica
- Décadas de avances tecnológicos surgieron de un ecosistema delicado en el que empresas privadas, universidades y decenas de miles de voluntarios contribuyeron a una base de software compartida
- Varias empresas exitosas a nivel mundial generan ingresos construyendo servicios sobre tecnologías centrales abiertas
- El software propietario también tiene un rol, pero el código abierto es la base que ha sostenido el peso de la industria tecnológica moderna, por lo que no debe debilitarse
La IA se está cerrando desde etapas tempranas
- La IA también es software, pero los modelos de frontera más avanzados están completamente cerrados, y el ritmo de cierre se está acelerando
- Hay pocas alternativas abiertas realmente utilizables; los modelos actuales son impresionantes, pero aún están incompletos, y los métodos para construirlos no están establecidos
- Si se cierra ahora un campo científico temprano, donde los avances más profundos aún están por venir, podría desaparecer el conocimiento compartido necesario para el progreso
- La ciencia universitaria ha avanzado publicando resultados de investigación y permitiendo que el mundo entero realice trabajos posteriores
- Si la mayor parte de la ciencia futura depende de la IA, encerrar la IA dentro de unas pocas empresas corre el riesgo de limitar incluso el progreso científico
Quién controla las bibliotecas del futuro
- Las bibliotecas son un recurso compartido que permite a cualquiera acceder gratis al conocimiento acumulado por la humanidad
- Sería difícil aceptar que unas pocas empresas compraran todas las bibliotecas, decidieran qué libros pueden leerse y modificaran su contenido en silencio
- La IA cerrada también se parece a una biblioteca del futuro a la que solo se puede acceder bajo las condiciones fijadas por sus dueños
- Si unas pocas empresas definen los límites permitidos de los modelos o ajustan la forma en que se derivan las respuestas, quienes dependen de esos modelos no pueden comprender plenamente los resultados
- Médicos que usan modelos para diagnósticos
- Ingenieros que delegan diseños
- Jueces que los consultan para tomar decisiones
- Usuarios comunes que preguntan qué deberían creer enfrentan todos el mismo problema
La explicación de un modelo no es un registro de auditoría
- Aunque un modelo pueda explicar sus razones, explicación y auditoría no son lo mismo
- Las razones que ofrece el modelo no son un registro fiel del cálculo real que produjo la respuesta, sino una historia plausible ensamblada después de que el resultado ya apareció
- Si al hacer la misma pregunta al año siguiente la respuesta cambia, puede que no haya forma de saber si cambió la realidad o si el proveedor modificó el modelo
- Los usuarios que dependen de estos sistemas, en lugar de usar herramientas que puedan entender, terminan confiando en un sistema similar a un oráculo cuyo interior no pueden investigar
Los riesgos que crean la IA abierta y la IA cerrada
- Vale la pena considerar seriamente el contraargumento de que la IA es demasiado peligrosa para abrirse
- Los artículos de investigación describen capacidades, pero el software base de IA es en sí mismo una capacidad, por lo que existe una asimetría real entre publicar investigación común y publicar IA
- Aun así, el cierre no es una respuesta inevitable
- Los descubrimientos científicos también pueden ser usados indebidamente, pero en lugar de volver confidencial toda la física, se aplican controles y reglas mientras el conocimiento base permanece abierto
- Los modelos cerrados también pueden filtrarse o ser vulnerados mediante jailbreaks, así que no son seguros solo por estar cerrados
- La concentración de poder, en la que unas pocas empresas deciden qué puede construir el resto de la sociedad, también crea un riesgo distinto
- El criterio no es si los modelos abiertos tienen cero riesgo, sino si generan un riesgo adicional significativo frente a capacidades que ya están disponibles
La diferencia entre código de ejecución y código de construcción
- Detrás de un modelo hay dos tipos de código: el código que ejecuta el modelo y el código que creó el modelo
- Poder ejecutar el modelo directamente también es útil, pero lo más importante para la transparencia es el código de construcción y los datos de entrenamiento que muestran cómo se creó el modelo
- Los modelos de importantes laboratorios chinos y algunas empresas estadounidenses que hoy se denominan abiertos ofrecen código de ejecución, pero no publican el código de construcción ni los datos de entrenamiento
- Lo que recibe el usuario es un enorme conjunto de números que produce inteligencia, pero cuyo proceso de formación no se conoce; aunque pueda ejecutarse, se parece más a números mágicos que no pueden explicarse
- Incluso la publicación del código de ejecución no es un compromiso sostenido, sino una concesión a discreción de las empresas, y no hay garantía de que los modelos más poderosos del futuro sigan abriéndose
- Una apertura que puede interrumpirse en cualquier momento no puede servir de base, por lo que se necesitan ambas cosas
- Modelos abiertos que cualquiera pueda usar y ampliar
- Código fuente y datos de entrenamiento abiertos que cualquiera pueda revisar para entender el proceso de creación
Invertir en IA de código abierto como bien público
- No se trata de oponerse a la existencia de empresas de IA ni a la IA privada en sí, sino de evitar que la IA privada cerrada sea la única opción
- La IA privada de Estados Unidos cuenta con suficiente apoyo, pero la IA de código abierto tiene una base de defensa más débil y puede quedar fácilmente fuera de las políticas y las inversiones
- Los modelos de frontera podrían seguir creciendo y aumentando sus costos, por lo que competir a esa escala podría seguir siendo dominio de las grandes corporaciones
- Para que la IA de código abierto sea útil, no necesariamente tiene que tener la misma escala que los modelos de frontera; muchas tareas que el mundo necesita quizá no requieran rendimiento absolutamente de punta
- Si mantener alternativas públicas confiables exige grandes recursos de cómputo, se trata de un bien público que vale la pena pagar
- Gobiernos, sector privado y organizaciones sin fines de lucro deben invertir activamente en IA libre y de código abierto
- Proporcionar subsidios públicos de cómputo para investigación abierta
- Financiamiento empresarial y filantrópico para universidades y organizaciones sin fines de lucro que realicen investigación relacionada
- Adoptar el principio de que la IA construida con fondos públicos sea abierta por defecto
- Debemos continuar en IA la misma forma de invertir en software de código abierto que impulsó el avance tecnológico
1 comentarios
Opiniones de Hacker News
Todas las empresas privadas de IA entrenan modelos con datos que en la práctica le quitaron a todo el mundo y además generan grandes riesgos, así que debería obligárseles a distribuir sus modelos con pesos abiertos bajo licencias no comerciales
Ese, y no la captura regulatoria que impulsa Dario, debería ser el eje de la política de seguridad
Si de verdad les enfurece que se entrene con todos los datos disponibles sin compensación, solo puedo decir que cosechan lo que sembraron
Hace falta patrocinar en conjunto premios de incentivo dirigidos para modelos abiertos, al estilo de los que propone el Nobel Michael Kremer
Cada 6 a 12 meses se podrían pagar 200 mil dólares al primer modelo que supere un umbral en 5 a 10 benchmarks difíciles y uno privado, con 16 GB, 32 GB, 64 GB o 128 GB de VRAM y al menos 200K de contexto; en la ronda siguiente simplemente se sube el estándar. La cuantización puede ser libre, pero en el hardware de referencia debe usarse exactamente esa cantidad de VRAM, sin desbordarse a RAM o disco
El financiamiento podría reunirse por crowdfunding y complementarse con premios especializados para demanda empresarial, como procesamiento de PDF, para subsidiar de forma cruzada. Por ejemplo, enviar 25% de los premios empresariales al fondo general. Para las empresas de modelos abiertos, el dinero ayuda, pero quizá valga más una certificación clara que haga resaltar su modelo y aumente su uso
Tener niveles de hardware bien definidos es un buen diferenciador, pero los benchmarks tienen que ser privados. Crear y mantener buenos conjuntos de evaluación para cada etapa ya es difícil incluso en evaluaciones internas de laboratorios serios, y para mantener la confianza habría que publicarlos después de cada ronda y crear otros nuevos para la siguiente. Se puede hacer, pero el costo de administrar la evaluación puede terminar siendo mayor que el total de los premios, y además hay que repetirlo continuamente
FOSS es una mala analogía. Construir grandes modelos de lenguaje de frontera se parece menos a la ingeniería y más a un programa de investigación científica
Ya existen programas de investigación que funcionan en la práctica de forma abierta, incluyendo universidades y grandes proyectos como CERN. La IA también creció en la universidad, pero quedó claro que el capital necesario solo puede conseguirse en el sector privado
Un verdadero programa público de investigación en IA también sería posible, pero no sería cosa de subir un poco el presupuesto universitario, sino algo más cercano al Proyecto Manhattan o el programa Apollo, que de hecho ya sirven de modelo para los laboratorios de frontera
El costo total del programa Apollo en el pico de la Guerra Fría fue de unos 300 mil millones de dólares a valor actual, más o menos comparable a lo que OpenAI y Anthropic han captado juntas hasta ahora. Dudo que, en el entorno político y económico actual, un gobierno pueda destinar tanto dinero a la IA. En comparación, el LHC costó mucho menos de 10 mil millones repartidos en un periodo mucho más largo
Puede sonar parecido, pero la perspectiva es distinta. Si fuera solo un programa de investigación académica, no se habrían gastado miles de millones en centros de datos para ofrecer IA gratis al público general
Ya se está invirtiendo en IA de código abierto, pero nada es realmente gratis. La IA comercial, donde los desarrolladores trabajan de tiempo completo y reciben pago, casi inevitablemente tiene ventaja; es difícil que la buena voluntad y las contribuciones de medio tiempo superen de manera estable las motivaciones de sustento y lucro
Si Altman, Amodei, Zuckerberg y Musk —cuatro personas que controlan casi en monopolio los modelos cerrados de frontera— no están engañando a sus inversionistas y de verdad construyen AGI, entonces lo único que dejan los modelos cerrados es elegir entre un gobierno fuerte o un oligopolio/monarquía fuerte
Musk y Zuckerberg controlan estructuralmente el mando. Altman, tras purgar competidores y privatizar, en la práctica aseguró el mando y la lealtad de la organización, y Amodei tiene suficiente influencia como para potencialmente revertir la estructura de control actual
Que un software sea de código cerrado no significa que no se pueda compartir conocimiento. Se pueden explicar patrones de arquitectura y buenas prácticas sin mostrar el código subyacente
La analogía con la biblioteca solo sería exacta si los proveedores de grandes modelos de lenguaje se negaran a responder preguntas sobre aprendizaje por refuerzo o sobre Transformers
Apoyo con fuerza los modelos de código abierto y pesos abiertos, pero sobre todo porque creo que son mejores productos. Cuestan mucho menos de entrenar y operar, y para la mayoría de las tareas quizá no haga falta inteligencia de frontera. Si se deja al mercado actuar, los grandes modelos de lenguaje probablemente se parecerán a los lenguajes de programación, y es probable que los grandes laboratorios ganen dinero con ajuste fino para usos específicos o despliegues para clientes
Si seguimos la lógica con la que se impulsa la IA, entonces con unos cuantos prompts de grandes modelos de lenguaje bien elegidos se podría recrear el trabajo de los desarrolladores open source; en ese caso, ¿por qué tendríamos que financiarlos? ¿No deberían más bien las empresas de IA financiar FOSS para poder memorizar más soluciones?
Solo hace falta quitar “IA” del título. Gobiernos, empresas y organizaciones sin fines de lucro deberían invertir en lo libre y de código abierto
La analogía de la biblioteca sí aplica, pero la parte incómoda es que la mayoría de los modelos abiertos se parecen más a recibir un binario compilado que a recibir una biblioteca
Si el público quiere conservar aunque sea un poco de control, las cooperativas propiedad de sus miembros podrían ser el camino a seguir
En esta charla de hace unos dos años, David Siegel dijo que la expansión de los centros de datos para IA era prematura: https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420
Su analogía era que, incluso si el enfoque actual sigue escalando, esto se parece a que en los inicios de la computación alguien inventara bubble sort, un algoritmo O(n²) para ordenar números, y entonces las tecnológicas decidieran construir primero enormes centros de datos para ordenar números en vez de buscar un método O(n log n). Tiene toda la razón, y también aplica a la IA de código abierto