Preocupaciones sobre el desarrollo open source
- Definición excesivamente amplia: la definición de "modelos cubiertos" dentro del proyecto de ley es muy amplia, por lo que podría abarcar incluso diversos modelos open source que solo implican un riesgo mínimo. Esto podría criminalizar de forma no intencional las actividades de desarrolladores bien intencionados que trabajan en proyectos de IA beneficiosos.
- Doble uso: los modelos de IA son software de uso general que se ejecuta en computadoras, como procesadores de texto, calculadoras y navegadores web. Quienes crean los modelos no pueden garantizar que no se usen para fines dañinos. Lo mismo aplica para quienes desarrollan navegadores web, calculadoras y procesadores de texto. Exigir responsabilidad a quienes crean estas herramientas de uso general significaría, en la práctica, que nadie salvo los equipos legales de las grandes empresas podría crear este tipo de herramientas.
- Requisitos restrictivos: este proyecto de ley impone una carga considerable a los desarrolladores, como cierres obligatorios, reportes extensos y el cumplimiento de "instrucciones cubiertas" potencialmente ambiguas. Estos requisitos pueden afectar de manera desproporcionada a los desarrolladores open source, que carecen de recursos para navegar procesos regulatorios complejos.
- Obstáculo para la apertura: el desarrollo open source podría verse frenado por la preocupación ante sanciones legales y trabas burocráticas, lo que socavaría el espíritu de colaboración que ha impulsado el avance de la IA. Esta reducción de la transparencia también podría dificultar la identificación y resolución de posibles problemas de seguridad.
Impacto en las pequeñas y medianas empresas y en la innovación
- Barreras de entrada: los altos costos asociados al cumplimiento (cuotas, auditorías, asesoría legal, etc.) pueden convertirse en una barrera de entrada importante para pymes y startups. Esto limita la competencia, concentra el poder en las grandes empresas ya establecidas y, en última instancia, frena la innovación.
- Efecto inhibidor sobre la investigación: el temor a violar sin querer las disposiciones del proyecto de ley puede llevar a investigadores y desarrolladores a autocensurarse o a evitar explorar áreas prometedoras de investigación en IA. Esto obstaculizaría el progreso científico y limitaría el potencial de la IA para resolver problemas sociales.
- Fuga de talento: el entorno restrictivo creado por este proyecto de ley podría empujar fuera de California a investigadores y desarrolladores de IA altamente capacitados, perjudicando la economía del estado y debilitando su posición como líder en innovación en IA.
Enfoques alternativos
- Apoyar el desarrollo open source: fomentar y promover el desarrollo open source de modelos de IA para impulsar la colaboración, la transparencia y la creación de un ecosistema de IA más diverso y resiliente.
- Enfocarse en el uso, no en el desarrollo: en lugar de regular el desarrollo de modelos de IA, centrarse en las aplicaciones, especialmente en aquellas que representan altos riesgos para la seguridad pública y la protección. Regular el uso de la IA en áreas de alto riesgo, donde el potencial de daño es mayor —como salud, justicia penal e infraestructura crítica—, para exigir responsabilidad por los usos perjudiciales, mientras se permite el avance continuo de la tecnología de IA.
- Promover la transparencia y la colaboración: fomentar, mediante la cooperación entre industria, academia y gobierno, el desarrollo y la adopción de mejores prácticas para una IA responsable. Esto puede incluir el establecimiento de estándares de la industria, el fomento del desarrollo open source y la inversión en investigación sobre seguridad en IA.
- Invertir en experiencia en IA: proporcionar recursos para que las agencias gubernamentales desarrollen conocimientos especializados en IA y construyan capacidades para monitorear y abordar eficazmente los riesgos potenciales. Esto permitiría un enfoque regulatorio de la IA más informado y matizado, equilibrando seguridad e innovación.
Opinión de GN⁺
- En lugar de regular el desarrollo de modelos open source, los reguladores deberían asumir un rol de promoción y supervisión del desarrollo open source. El open source no solo mejora la transparencia y la colaboración, sino que también aporta perspectivas diversas, por lo que incluso puede ayudar a reforzar la seguridad.
- Más que regular los modelos de IA en sí, sería más efectivo supervisar y regular el uso de la IA en sectores de alto riesgo. Se necesitan lineamientos y regulaciones estrictas para el uso de la IA en áreas de alto riesgo como salud, justicia y seguridad pública, pero en áreas de bajo riesgo se debe regular sin obstaculizar el avance de la tecnología de IA.
- Existe el riesgo de que este proyecto de ley imponga una carga excesiva al desarrollo de IA y haga que California pierda su posición de liderazgo en el sector. Habría que buscar enfoques alternativos que permitan exigir responsabilidad por los usos dañinos sin frenar la innovación.
- El gobierno necesita fortalecer su experiencia en IA y mejorar su comprensión del ecosistema de IA para aplicar políticas regulatorias más sensatas. Más que simplemente endurecer la regulación, parece necesario impulsar una dirección deseable mediante la cooperación entre industria, academia e investigación.
1 comentarios
Opiniones de Hacker News
Los desarrolladores de modelos, al igual que los desarrolladores de navegadores web, calculadoras o procesadores de texto, no pueden garantizar por completo que sus modelos no se usen con fines dañinos. Hacer responsables a los creadores de herramientas de propósito general como estas, en la práctica, solo lo vuelve viable para los equipos legales de las grandes empresas.
Los políticos están actuando con fuerza contra la IA de código abierto. Soros dijo que la sinergia entre los proyectos de IA de empresas y gobiernos podría representar una amenaza mayor que la de los dictadores de la Guerra Fría. Dijo que “la combinación de regímenes dictatoriales y monopolios de TI otorga una ventaja inherente sobre las sociedades abiertas y constituye una amenaza letal”.
Aunque no se menciona en el blog, el 7 de febrero de 2024 se presentó en la asamblea estatal de California el proyecto de ley SB-1047. Busca regular el desarrollo y uso de modelos avanzados de IA, y exige a los desarrolladores evaluaciones de seguridad, cumplimiento de requisitos de seguridad, reporte de incidentes, y además crea un organismo de supervisión bajo una dependencia tecnológica.
Existe preocupación de que este tipo de regulación favorezca a las empresas de IA que ya van a la cabeza y vuelva imposible la entrada de nuevos competidores. Las políticas de vivienda de Scott Wiener eran buenas, pero este proyecto de ley es una interferencia excesiva del gobierno.
Solo se podría entrenar con lo que el gobierno permita, se crearían nuevas oficinas y facultades para cobrar tarifas, y por supuesto también se volvería obligatorio contratar consultores.
A largo plazo, ¿qué estado sería favorable para las startups de IA? Probablemente California no. Washington o Texas todavía no muestran movimientos regulatorios y también parecen tener ventajas.
La definición de “modelo cubierto” es ambigua. Las operaciones con int y float tienen costos computacionales muy distintos, así que hay margen para interpretar el texto en tribunales. Se intenta fijar el criterio actual de benchmark hacia el futuro y limitar en función de eso, sin importar los avances algorítmicos.
Este artículo tiene un nivel tan bajo que parece generado por un LLM. Para entender bien el proyecto de ley, conviene leer el análisis de Zvi.
Todo este artículo se siente como si lo hubiera escrito ChatGPT. Menciona vagamente el valor del código abierto, pero ni siquiera cita el proyecto de ley original.
Hay quienes opinan que, “en lugar de regular el desarrollo de modelos de IA, debería regularse su uso, especialmente en áreas peligrosas para la seguridad pública”. La idea es regular el uso de IA en ámbitos de alto riesgo como salud, justicia penal e infraestructura crítica, para responsabilizar los usos dañinos pero permitir el avance de la tecnología de IA. ¿Hay alguna objeción a eso?