- SB-1047 busca el desarrollo seguro de la IA, pero sus disposiciones actuales podrían imponer una carga excesiva a los desarrolladores de código abierto y a las empresas pequeñas
- Si se endurecen las restricciones al desarrollo, podrían disminuir la transparencia y la colaboración, debilitando también la capacidad de una comunidad más amplia de expertos para encontrar y corregir problemas de seguridad
- La definición de “covered model” es amplia, y las exigencias de suspensión obligatoria, reporte y cumplimiento de lineamientos son grandes, por lo que incluso el desarrollo de modelos de código abierto de buena fe podría verse desincentivado
- Las auditorías, la asesoría legal, las tarifas y la posibilidad de sanciones civiles pueden actuar como barreras de entrada y presiones de autocensura para startups e investigadores
- Un mejor enfoque sería regular los usos de alto riesgo más que el desarrollo del modelo en sí, y acompañarlo con apoyo al código abierto, cooperación entre industria, academia y gobierno, e inversión pública en experiencia estatal sobre IA
Postura básica sobre SB-1047
- Este texto es una presentación personal de Jeremy dirigida al autor del proyecto de ley SB-1047, y no representa la postura oficial de Answer.AI
- El objetivo que persigue SB-1047, es decir, un desarrollo de IA seguro y protegido, puede verse de manera positiva
- El problema es que algunas disposiciones del proyecto actual podrían afectar negativamente a los desarrolladores de código abierto, a las empresas pequeñas y a la innovación en todo el ecosistema de IA
- Si se limita el desarrollo de código abierto, la seguridad de la IA también podría debilitarse
- Si disminuyen la transparencia y la colaboración, será más difícil que más expertos identifiquen y resuelvan posibles problemas de seguridad
- Si el control se concentra en unos pocos actores grandes, bajarán la diversidad y la resiliencia, y aumentará la posibilidad de puntos únicos de falla y riesgos sistémicos
Preocupación por el debilitamiento del desarrollo de código abierto
- El código abierto ha sido un elemento clave que hizo posible el éxito de la industria del software en Estados Unidos, y ha permitido que muchas personas accedan a herramientas de software importantes
- Una parte importante de los componentes básicos de la IA moderna también proviene del código abierto, y la investigación académica, así como la investigación en seguridad y protección, se realiza casi por completo sobre bases abiertas
- Si el código abierto se debilita, se verán afectados desarrolladores, consumidores, la academia y también las nuevas startups
-
Definición excesivamente amplia de “covered model”
- La definición de “covered model” en el proyecto de ley es muy amplia, y podría incluir diversos modelos de código abierto de bajo riesgo
- Como resultado, incluso actividades de desarrolladores de buena fe que llevan adelante proyectos de IA beneficiosos podrían criminalizarse sin intención
-
El problema de la responsabilidad sobre herramientas de uso general
- Los modelos de IA se parecen más a software de uso general que corre en una computadora, como procesadores de texto, calculadoras o navegadores web
- Así como un desarrollador de navegadores o calculadoras no puede impedir todos los usos indebidos, también es difícil que quien crea un modelo garantice que nunca se usará para algo dañino
- Si esa responsabilidad se impone a quienes crean herramientas de uso general, en la práctica podría volverse casi imposible desarrollarlas para cualquiera que no sea una gran empresa con un equipo legal suficiente
-
La carga de los requisitos para desarrolladores
- El proyecto de ley impone a los desarrolladores cargas como la suspensión obligatoria, reportes extensos y el cumplimiento de un “covered guidance” que puede resultar ambiguo
- Para los desarrolladores de código abierto, que no cuentan con recursos para afrontar procesos regulatorios complejos, estos requisitos pesan aún más
- El temor a las consecuencias legales y a los procedimientos burocráticos puede reducir la participación en el desarrollo de código abierto y debilitar la cultura colaborativa que ha impulsado los avances de la IA
- Si disminuye la transparencia, también se vuelve más difícil encontrar y resolver posibles problemas de seguridad
Impacto en las pequeñas empresas y el ecosistema de investigación
- La regulación propuesta podría crear una barrera de entrada importante para las pequeñas empresas y startups que quieren innovar en el campo de la IA
- Los costos de cumplimiento regulatorio y el riesgo legal pueden desalentar a los fundadores y limitar la competencia
- Como resultado, el ritmo de la innovación podría desacelerarse y el poder podría concentrarse aún más en las grandes empresas ya establecidas
-
Costos y riesgo legal
- Los costos de cumplimiento, como tarifas, auditorías y asesoría legal, representan una gran carga para pequeñas empresas y startups
- Esta estructura de costos puede limitar la competencia, concentrar el poder en las grandes empresas existentes y frenar la innovación
-
Enfriamiento de la investigación y fuga de talento
- El temor a activar sin querer disposiciones del proyecto de ley puede llevar a la autocensura de investigadores y desarrolladores
- Si se evitan líneas prometedoras de investigación en IA, se limita el progreso científico y el potencial de la IA para resolver problemas sociales
- Un entorno restrictivo puede empujar a investigadores y desarrolladores talentosos de IA a irse fuera de California
- Eso podría perjudicar la economía de California y debilitar su liderazgo en innovación en IA
Efectos sobre la innovación en IA en California y Estados Unidos
- California cumple un papel importante en el liderazgo de la innovación en Estados Unidos, especialmente en el sector tecnológico
- Si SB-1047 impone una carga excesiva al desarrollo de IA, el liderazgo de California en este campo clave podría debilitarse
- Ese impacto podría extenderse al conjunto de Estados Unidos y ralentizar el avance general de la investigación y el desarrollo en IA
Alternativas propuestas
- Más que regular el desarrollo de modelos de IA en sí, se necesita un enfoque centrado en las aplicaciones de IA y en los riesgos reales
-
Apoyo al desarrollo de código abierto
- Fomentar el desarrollo abierto de modelos de IA puede aumentar la colaboración y la transparencia, y crear un ecosistema de IA más diverso y resiliente
-
Enfocarse en regular el uso, no el desarrollo
- El foco de la regulación debe estar en cómo se usa la IA, no en el desarrollo de modelos de IA
- En particular, es necesario concentrarse en aplicaciones que plantean altos riesgos para la seguridad pública y la protección
- Si se regula el uso de IA en áreas con alto potencial de daño, como salud, justicia penal o infraestructura crítica, puede garantizarse la responsabilidad por usos dañinos sin frenar el avance de la tecnología de IA
-
Inversión en transparencia, colaboración y experiencia
- La cooperación entre industria, academia y gobierno puede fomentar el desarrollo y la adopción de mejores prácticas para una IA responsable
- Hace falta combinar estándares industriales, impulso al desarrollo de código abierto e inversión en investigación sobre seguridad en IA
- Si se proporcionan recursos para que las agencias gubernamentales desarrollen experiencia en IA, podrán monitorear y responder con mayor eficacia a los riesgos potenciales
- Este enfoque permitiría una regulación de IA más sofisticada, que equilibre seguridad e innovación
Disposiciones concretas que generan preocupación
- Section 22602 (f): la definición de “covered model” es excesivamente amplia y podría incluir varios modelos de código abierto
- Section 22603 (b): los requisitos para desarrolladores son excesivos y podrían desalentar el desarrollo de código abierto
- Section 22606 (a): la posibilidad de sanciones civiles puede generar un efecto de enfriamiento sobre la investigación y la innovación
- Section 11547.6 (c)(11): la facultad de imponer tarifas puede crear barreras de entrada para las pequeñas empresas
1 comentarios
Opiniones en Hacker News
Los creadores de modelos no pueden garantizar que sus modelos nunca se usen para algo dañino, y lo mismo ocurre con los desarrolladores de navegadores web, calculadoras o procesadores de texto.
Si se responsabiliza a los creadores de estas herramientas de propósito general, en la práctica nadie salvo las grandes empresas con equipos legales suficientes podrá construirlas. Es casi imposible garantizar que una tecnología no se use con “fines dañinos”, y este tipo de disposiciones parece otra barrera más para impedir que participen actores que no sean grandes empresas en el desarrollo de LLM.
Ni siquiera se asume responsabilidad por el incidente de seguridad en sí, solo hay que reportarlo; aunque pueda ser algo incómodo, en general parece bastante razonable.
Tampoco se asume responsabilidad automática porque un modelo de alto rendimiento se haya usado para algo malo, incluso para causar daños catastróficos; la cuestión central es si se tomaron medidas preventivas razonables. Habría sido posible un esquema de responsabilidad estricta que hiciera responsables a los desarrolladores por daños catastróficos independientemente de si hubo negligencia o no, pero este proyecto de ley no hace eso.
En conjunto, la idea es que, si un modelo puede causar daños catastróficos —aunque eso no aplique a los modelos actuales, podría aplicar a modelos futuros—, no debe distribuirse de una manera que previsiblemente pueda causar esos daños; en ese sentido, parece bastante razonable.
Si quieren conocer los detalles concretos del proyecto, recomiendo el artículo detallado de Zvi. Personalmente lo veo como una propuesta bastante acotada, enfocada en los riesgos más graves, y mucho más estrecha que, por ejemplo, la Ley de IA de la UE: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
De lo contrario, también habría que criticar que se impida la investigación open source sobre agentes biológicos, ojivas nucleares open source o protocolos open source de clonación humana. Todos ellos también son tecnologías de doble uso y, objetivamente, son moralmente neutrales.
Es como no permitir que se vendan granadas en la esquina. La actitud de querer escapar de la responsabilidad es una de las cosas que menos me gustan de las grandes tecnológicas.
Esto podría incluir IA para desarrollo de nuevos fármacos y ciencia de materiales, IA para gestionar redes eléctricas y tráfico de banda ancha, IA para servicios financieros y de salud, etc. En el caso del complejo militar-industrial, si solo están involucrados contratos federales, puede que esta ley ni siquiera pueda tocarlo. El desarrollo de IA militar clasificada parece temerario; uno se pregunta si no vieron War Games.
https://technologymagazine.com/top10/top-10-military-technol...
Al menos, si es open source, sus capacidades quedan al descubierto de forma más inmediata.
Parece una locura que la política esté apuntando con tanta fuerza contra la IA open source.
Soros dijo que la combinación de proyectos de IA corporativos y gubernamentales crea una amenaza más poderosa que la de los dictadores de la Guerra Fría, que se mantuvieron alejados de la innovación empresarial. La idea era: “La combinación de regímenes represivos y monopolios de TI les da a esos regímenes una ventaja incorporada sobre las sociedades abiertas. Plantean una amenaza mortal para las sociedades abiertas”.
https://www.wired.com/story/mortal-danger-chinas-push-into-a...
Literalmente todos los que buscan influencia global están babeando por la IA. Estoy considerando seriamente si debería comprar una Mac Studio de 512 GB cuando salga para correr un modelo grande de llama3 que quizá pronto quede prohibido.
Los inversionistas o beneficiarios de empresas como OpenAI podrían tener relaciones cercanas con políticos. Es muy probable que no haya vínculos directos, y que ya se hayan vuelto muy hábiles para ocultar esas conexiones y permitir negaciones plausibles.
Todavía estamos en una etapa realmente temprana. A menos que la academia fracase de forma importante, en unos 5 años los clústeres de investigación de profesores podrán entrenar modelos al nivel de frontera actual, y probablemente ni siquiera se limite a universidades R1.
A largo plazo, parece que cualquiera con acceso a una biblioteca de textos podrá crear un modelo útil. No hay nada mágico en nuestros cerebros, así que algún día podremos enseñar a una computadora a leer y escribir con una cantidad de libros similar a la necesaria para enseñar a un humano. Incluso si fuera 10 veces más tonta que nosotros, el estadounidense promedio lee cientos de libros a lo largo de su vida; ¿van a exigir permiso para poseer más de unos miles de ebooks?
Incluso en una versión más débil, sin autonomía alguna y donde todo sea solo resultado de prompts, si realmente entrega el rendimiento prometido, será profundamente desestabilizadora. No estamos para nada preparados para un mundo en el que casi todo lo falso tenga un costo cercano a cero.
Por otro lado, también es muy probable que termine manifestándose como reglas muy extrañas, parecidas al ITAR actual, que tienen muy poca relación con la seguridad real.
Es mucho más barato que una Mac Studio. Compré un R820 por unos cientos de dólares, trae 256 GB de RAM y todavía tiene margen para ampliarlo más.
Como no aparece en el blog, agrego que el 7 de febrero de 2024 el senador Scott Wiener presentó la SB-1047 ante la Legislatura de California.
Su nombre oficial es Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act, y es un proyecto de ley que busca regular el desarrollo y uso de modelos avanzados de IA. Exige que los desarrolladores hagan ciertas evaluaciones de seguridad antes de entrenar modelos de IA, cumplan varios requisitos de seguridad y reporten incidentes de seguridad de IA. Además, crea una Frontier Model Division dentro del Department of Technology para supervisar, e introduce multas civiles en caso de infracción.
https://www.dlapiper.com/en/insights/publications/2024/02/ca...
https://www.opensecrets.org/orgs/openai/summary?id=D00008425...
https://www.sfgate.com/politics/article/fentanyl-dealers-in-...
Me preocupa que este tipo de regulación genere un efecto de atrincheramiento favorable para las empresas líderes actuales de IA y haga imposible la entrada de nuevos competidores.
Si no eres un equipo completamente desquiciado que pueda levantar algo así como 1.000 millones de dólares desde el inicio, no tienes oportunidad de competir.
Cuesta creerlo. Me gustan las políticas de vivienda de Scott Wiener, pero este proyecto de ley está plagado de intervención excesiva del gobierno.
Irónicamente, tendrá el mismo efecto que el sistema NIMBY contra el que él lleva tanto tiempo luchando.
Es del estilo de exigir, antes de empezar a entrenar un modelo cubierto no derivado, que se implemente una capacidad para detenerlo por completo y rápidamente hasta que pueda quedar exento de obligaciones limitadas. Al final parece significar que solo se puede entrenar lo que esté permitido.
Por supuesto, también viene acompañado de una nueva división con facultad para cobrar tarifas. Crea la Frontier Model Division para revisar los informes anuales de certificación de los desarrolladores, publicar resultados resumidos y cobrar las tarifas correspondientes para depositarlas en un fondo separado.
Y, por supuesto, también hay que pagarles a consultores. El Department of Technology encarga a consultores crear un clúster público de cómputo en la nube llamado CalCompute, con el objetivo principal de investigar el despliegue seguro y protegido de modelos de IA a gran escala y fomentar una innovación justa.
Me parece que debería ser fácil, y aun así garantizar que se pueda apagar parece algo bueno.
Me pregunto cuál será, a largo plazo, el mejor estado para las startups de IA.
Antes habría pensado que era California, pero ahora parece más importante elegir un estado con menos probabilidad de acelerar con regulaciones. Washington todavía no tiene movimientos de este tipo, no tiene impuesto estatal sobre la renta y cuenta con muchos ingenieros e investigadores de IA en Seattle/Redmond, por eso estoy aquí. Texas también probablemente no agregue regulaciones, y estar en Austin ofrece ventajas similares. Si California expulsa la industria con regulación, ¿qué otro lugar podría emerger?
Por eso están creciendo las ciudades de Texas y Florida. Seattle tiene mal clima, Washington es frío, y sus grandes ciudades no están bien administradas, así que no son atractivas para vivir para familias adineradas.
California tiene tarifas eléctricas especialmente altas y también dificulta la construcción de nuevas instalaciones industriales. Más aún si están cerca de cuerpos de agua que podrían ayudar con la demanda de enfriamiento. Aunque una empresa pueda mantener parte de su personal en California, es muy probable que el hardware funcione en otro lugar.
Este artículo es muy malo y huele a producto generado por LLM.
Si de verdad quieres entender este proyecto de ley, mejor lee el análisis de Zvi: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Por ejemplo, antes de iniciar el uso comercial, público o ampliamente extendido de un modelo cubierto, si no hay una determinación positiva de seguridad ni una exención de obligaciones limitadas, el desarrollador debe implementar salvaguardas y requisitos razonables para “impedir que una persona use ese modelo para crear un modelo derivado que cause un daño crítico”.
Eso es sencillamente imposible. Si me das los pesos del modelo, sin duda puedo hacerle fine-tuning para que cause daños cubiertos. Por ejemplo, puedo hacer que proporcione instrucciones para fabricar armas químicas o biológicas. Este requisito no se puede cumplir, y si no se cumple no se puede desplegar el modelo cubierto.
Es muy probable que la empresa o el autor hayan probado directamente sus productos internos.
Un “modelo aplicable” es un modelo de IA que cumple uno de dos criterios.
Primero, un modelo entrenado con más de 10^26 operaciones enteras o de punto flotante. Segundo, un modelo entrenado con una cantidad de cómputo lo suficientemente grande como para que sea razonable esperar que tenga un rendimiento similar o superior al de un modelo de IA entrenado, al nivel de 2024, con más de 10^26 operaciones; esto se evalúa con benchmarks usados comúnmente para cuantificar el rendimiento general de los modelos fundacionales de vanguardia.
Con solo tomar una clase básica de arquitectura de CPU, uno sabe que las operaciones enteras y las de punto flotante tienen cargas computacionales muy distintas. Alguna entidad podría usar esta redacción en un tribunal para rebajar mucho, a posteriori, el umbral de aplicación. Por ejemplo, podría argumentar que una operación de punto flotante equivale a 10 operaciones enteras, así que el límite es 10^26 operaciones enteras o 10^25 operaciones de punto flotante.
Al intentar prepararse para el futuro, incluso para algoritmos mejores, tomando como referencia los benchmarks actuales, se llega a un punto en el que la cantidad de esfuerzo en sí ya no importa. Pareciera que se traza una línea de referencia sobre esos benchmarks, reflejen o no las capacidades reales. Un modelo pequeño podría entrenarse para rendir deliberadamente mal en esos benchmarks y, al mismo tiempo, sobresalir en tareas que les preocupan, como la fabricación de armas nucleares.
Dice que, antes de iniciar el entrenamiento de un modelo aplicable, el desarrollador puede determinar si ese modelo tendrá un rendimiento inferior en todos los benchmarks; pero uno se pregunta cómo sabría su rendimiento antes de entrenarlo.
Si se establece un límite máximo de lo que se puede usar, la creatividad humana se concentrará en encajar dentro de ese rango. Claro que esto aplica solo a Estados Unidos. China, Rusia, Corea del Norte, Irán y otros aún podrán perseguir esta tecnología libremente.
Todo este texto se siente como si hubiera sido escrito con ChatGPT.
Por ejemplo, ni siquiera cita el proyecto de ley original y solo hace afirmaciones vagas sobre el valor del código abierto.
No sé qué aporta a la discusión, y también dudo de que haya algún argumento que funcione como refutación.
Me gusta la propuesta de regular las áreas de aplicación, especialmente aquellas que implican altos riesgos para la seguridad pública, en lugar de regular el desarrollo mismo de modelos de IA.
Regular el uso de IA en ámbitos de alto riesgo donde el potencial de daño es mayor —como la salud, la justicia penal y la infraestructura crítica— permitiría que el avance de la tecnología de IA continúe, al tiempo que se garantiza la responsabilidad por usos dañinos. Me pregunto si hay un buen argumento en contra de este enfoque.