Gavin Newsom veta el proyecto de ley de seguridad de IA SB 1047

 (wsj.com)
1 puntos por GN⁺ 2024-09-30 | 1 comentarios | Compartir por WhatsApp
  • El gobernador de California Gavin Newsom vetó el proyecto de ley de seguridad de IA SB 1047, lo que mantiene el debate sobre el alcance de la regulación de la IA
  • La razón central del veto es que el proyecto solo se aplica a los modelos de IA más grandes y costosos, por lo que su alcance es limitado
  • Newsom considera que el proyecto no toma en cuenta si un modelo se despliega en situaciones de alto riesgo
  • OpenAI y Meta se opusieron al proyecto, mientras que destacados científicos investigadores que desarrollaron tecnología de IA lo respaldaron
  • Newsom busca impulsar reglas de IA más integrales que SB 1047

La decisión de veto y los intereses en juego

  • El gobernador de California Gavin Newsom vetó el controvertido proyecto de ley de seguridad de IA SB 1047
  • Este proyecto enfrentó a grandes empresas tecnológicas con destacados científicos investigadores que desarrollaron tecnología de IA
  • OpenAI y Meta se opusieron al proyecto, y los científicos investigadores lo apoyaron

Alcance del proyecto y razones del veto

  • En su mensaje de veto, Newsom consideró que el alcance de aplicación del proyecto era limitado
    • El proyecto solo se aplica a los modelos de IA más grandes y costosos
    • No considera si un modelo de IA se despliega en situaciones de alto riesgo
  • Newsom quiere reglas de IA más integrales que este proyecto

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-09-30
Opiniones de Hacker News

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • La decisión de Newsom fue excelente. El Congreso de California es muy activo, pero en los últimos años ha habido demasiada legislación de seguir la moda, y aunque apoyo la agenda de Wiener, especialmente en política de vivienda, creo que este proyecto de ley estaba totalmente errado
    En la práctica era un torpedo dirigido contra los modelos abiertos, y los líderes como OpenAI o Anthropic no estaban demasiado preocupados por este proyecto ni por los modelos abiertos en general. Sus partidarios parecían más bien rezagados como Musk, que quieren depurar a los de abajo, o quienes se oponen a una IA que no controlan, como fuerzas hostiles a Occidente y titulares de derechos de autor cautelosos: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Una de las razones por las que Newsom ejerció el veto fue que el umbral de aplicación de este proyecto estaba muy por encima de cualquier modelo actual, y él quería una opción que restringiera de forma más amplia incluso modelos mucho más pequeños y con menor cómputo de entrenamiento, que este proyecto no tocaba en absoluto
      Además, OpenAI, junto con Google y Meta, lideró la oposición organizada a este proyecto de ley, mientras que Anthropic fue, por el contrario, uno de sus principales partidarios
    • Si este proyecto de ley era un torpedo contra los modelos abiertos, me pregunto por qué Google, Microsoft y OpenAI se opusieron. ¿No serían ellos quienes estarían en mejor posición para beneficiarse?
    • Las leyes que pueden matar una gran industria nueva, si es que se hacen, deberían ser reactivas. Este era un pésimo proyecto de ley, y por suerte el gobernador tomó esa decisión
    • Hay que bajar la velocidad y escuchar a ambos lados, no solo a quienes creen que la AGI llegará en 1 o 2 años y que un T1000 vendrá a atraparnos
      Creo que los LLM tienen un futuro prometedor, especialmente a medida que se fabrique más hardware dedicado. La mayoría de los problemas puede resolverlos el mercado, y el gobierno debería intervenir cuando las cosas vayan en la dirección equivocada o cuando el monopolio y los abusos sean evidentes, no actuar sobre especulaciones amplias de ambos extremos
    • Yo también suelo estar bastante alineado políticamente con Wiener, especialmente en vivienda y transporte público, pero este proyecto no era el camino

  • https://legiscan.com/CA/text/SB1047/id/3019694
    Este proyecto de ley parece ilegalizar la provisión de pesos abiertos para modelos por encima de cierto tamaño, obligar a verificar que los clientes no vayan a ignorar la ley y entrenar modelos antes de venderles recursos de cómputo suficientes para entrenar ese tipo de modelos, e imponer requisitos de auditoría para demostrar que el modelo no ayudará a una catástrofe y que puede apagarse

    • Una auditoría no puede demostrar nada, ni tiene valor para planificar el futuro. Una auditoría es únicamente una herramienta retrospectiva que aporta información sobre posibles factores de riesgo
      Y la parte de “debe poder apagarse” hace pensar que sería bueno que los legisladores se movieran dentro de la realidad, no de un episodio de Star Trek
    • “Ilegalizar la provisión de pesos abiertos para modelos por encima de cierto tamaño” no aparece en ninguna parte del proyecto. Mucha gente terminó creyendo eso por culpa de los opositores al proyecto
    • Este proyecto suena como una legislación que identifica mal la causa raíz como “quizá las computadoras sean demasiado inteligentes”, y deja de lado la idea de que “los humanos y las empresas deben ser responsables si usan herramientas de forma maliciosa”
    • Es una ley muy mala. Quienes apoyan esta ley, especialmente las empresas, deberían ser vigilados para ver si lo que buscan es monopolizar el mercado
    • La ley propuesta es tan absurdamente tonta que, si viviera en California, consideraría seriamente votar por el rival de Anthony Weiner en la próxima elección
      Es difícil confiarle poder a esta persona, y no es la primera ley ridícula que impulsa. Por ejemplo, estuvo detrás de la claramente inconstitucional AB2098, que la Legislatura de California derogó discretamente antes de que los tribunales la tumbaran: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      Esto no es una cuestión partidista. Independientemente de la orientación política o de la postura sobre la “seguridad de la IA”, deberíamos querer representantes más prudentes que este pésimo criterio y esta autoexhibición mediante legislación

  • Artículos relacionados. ¿Hay más?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - septiembre de 2024, 26 comentarios
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - junio de 2024, 8 comentarios
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - junio de 2024, 2 comentarios
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - mayo de 2024, 42 comentarios
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - mayo de 2024, 11 comentarios
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - mayo de 2024, 35 comentarios
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - abril de 2024, 16 comentarios
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - abril de 2024, 190 comentarios
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - abril de 2024, 103 comentarios
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - febrero de 2024, 115 comentarios

  • El peligro inmediato de los grandes modelos de IA no es convertir la Tierra en clips, sino crear fraude como servicio y una sociedad en la que no se pueda confiar en nada
    Podría apoyar incluso una ley algo torpe que obligue a que las imágenes, el audio y el video creados por modelos con más de X parámetros lleven metadatos que indiquen que fueron generados por IA. Algo como prohibir crear modelos que no agreguen esas etiquetas
    Pero el problema obvio es que también habría que ilegalizar tomar una captura de pantalla de una imagen de IA y volver a subirla sin metadatos, y en especial con las imágenes la aplicación de la ley podría ser un completo desastre. Sobre todo, cualquier medida en este campo debe diseñarse partiendo de la premisa de que, en la práctica, no podemos controlar lo que hacen los “malos actores”. Actuar responsablemente significa renunciar a dinero, y ese dinero se lo llevará un país menos responsable

    • En los modelos abiertos, cualquiera puede desactivar esa función de etiquetado, así que no tiene sentido prohibir las salidas sin etiqueta
    • Las leyes que intentan clasificar contenido no confiable parecen destinadas al fracaso. En cambio, habría que encontrar mejores formas de transmitir confiabilidad, y no estoy seguro de que agregar más leyes ayude en esto
    • Creo que el método más realista para verificar imágenes de IA es guardar una huella digital de todas las imágenes creadas por el generador
      Más adelante, si aparece una imagen, se le podría preguntar a Meta o a quien sea: “¿esto parece algo que ustedes crearon?”. Ya existen tecnologías parecidas, como Content ID de YouTube o la detección de CSAM. No es perfecto, pero podría ayudar sin los enormes efectos secundarios de intentar bloquear toda generación de imágenes
    • En los casos en que se use para fraude, se puede crear una ley que obligue a indicar que es contenido de IA
    • Como convertir la Tierra en clips no va a ocurrir de inmediato, ese riesgo se puede ignorar sin problema

  • Me dio curiosidad si el artículo exageraba los riesgos que aborda el proyecto de ley, así que leí el texto original.
    “Daño crítico” significa un daño causado por un modelo cubierto o por un modelo derivado de este, o que estos hayan hecho sustancialmente posible, e incluye casos en los que se producen víctimas masivas por la creación o el uso de armas químicas, biológicas, radiológicas o nucleares; casos en los que se producen víctimas masivas o daños por más de 500 millones de dólares por un ciberataque contra infraestructura crítica; casos en los que, bajo supervisión humana limitada, un modelo causa muertes, lesiones graves o daños a la propiedad mediante actos que constituirían delitos; y daños críticos comparables para la seguridad pública.
    Sin embargo, se excluye si la información generada por el modelo es información a la que una persona común podría acceder públicamente de forma razonable desde otras fuentes; se excluye si, al combinarse con otro software, el modelo no contribuyó sustancialmente a la posibilidad de daño; y se excluye si el daño no fue causado ni hecho posible por la creación, el almacenamiento, el uso o la divulgación del modelo por parte del desarrollador.

    • ¿Newsom cree que los modelos de IA pueden causar estos daños de forma autónoma, o entiende que solo sería posible si humanos los usan y supervisan?
      Si los humanos pueden causar daño con IA, probablemente también podrían hacerlo sin IA; la cuestión clave es cuánto aumenta la IA la viabilidad de objetivos destructivos. No me queda claro si la preocupación es que la IA los vuelva más accesibles y eficaces, ni cuál es exactamente el monstruo. No creo que estos modelos tengan información no pública sobre infraestructuras y sistemas explotables.
    • La excepción que excluye los daños derivados de “información a la que una persona común podría acceder públicamente de forma razonable desde otras fuentes” termina tragándose toda la regla y no apunta a lo que distingue a la IA. La IA sí es, en la práctica, mejor que una persona promedio para integrar múltiples flujos de hechos.
      Por eso esta ley parece teatro legislativo. Podría estar diseñada para atraer atención y donaciones, y así construir una franquicia política. Que apunte solo a los modelos más grandes, de modo que solo afecte a los actores más grandes, también podría deberse a que son quienes tienen mayor capacidad de donar al partido que decida, y a que oponerse a ellos implica la menor pérdida de buena voluntad.
      Regular la IA será una tarea legislativa y administrativa tan compleja como un nuevo código tributario, y se vuelve imposible si se trata como una franquicia política. Viendo cómo OpenAI pasa a ser una empresa con fines de lucro, la forma sin fines de lucro por sí sola no alcanza para mantener una orientación al interés público. Permitir esa transición está a un nivel similar al de la conversión a fines de lucro de los sistemas hospitalarios sin fines de lucro desde la década de 1990.
      El potencial de la IA expone con claridad nuestra vulnerabilidad de gobernanza. Una gobernanza débil también abre más oportunidades, pero el impulso por escapar de la explotación causada por sus fracasos alimenta el autoritarismo, y el autoritarismo se traga los derechos de propiedad junto con otros derechos.

  • ¿Una de las preocupaciones es que el cómputo de IA fuera de control simplemente ocurrirá fuera de California?
    En la elección del condado de Sonoma sobre las CAFO hay un tema similar: aunque se logren avances ambientales a nivel local, el resultado podría ser exportar el problema a otros estados con regulaciones más laxas: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • Como ocurre con cualquier ley, sin duda habrá quienes evadan la regulación geográficamente. Una ley bien escrita luego sirve como precedente o punto de partida para otras regiones que quieran contar con una función regulatoria.
      La UE y California parecen ocupar con frecuencia esa posición de liderazgo en tecnología y privacidad. Desde afuera puede parecer un esfuerzo inútil, pero es parte de abrir camino y un paso necesario para que una buena ley gane apoyo a nivel mundial.

  • Era una ley tonta, así que al menos una vez un político hizo algo inteligente.

  • Me gustaría ver algún material que resuma los argumentos a favor y en contra de este proyecto de ley. Lo primero que pensé al leer el artículo fue que expresiones como “cuidado razonable” y “riesgo irrazonable” parecen tan vagas que podrían derivar en demandas interminables, al punto de ser inviables como ley
    Al mismo tiempo, científicos de la computación como Geoffrey Hinton y Yoshua Bengio, que crearon una parte importante de la tecnología base de la actual ola de IA generativa, lo apoyaron públicamente, y 119 empleados actuales y anteriores de las principales empresas de IA también firmaron una carta instando a su aprobación. Por supuesto, que alguien sea inteligente en un campo no significa que se pueda confiar en su asesoría legal, pero me da curiosidad por qué Hinton y Bengio apoyaron esta ley con tanta fuerza

    • “Cuidado razonable” y “riesgo irrazonable” no son expresiones problemáticas en absoluto, sino conceptos legales completamente estándar. Por ejemplo, el derecho de responsabilidad civil extracontractual trata precisamente ese tipo de cosas
      Claro que puede terminar en litigios, pero el punto es que, si hay zonas grises, las empresas deben operar claramente dentro de la zona segura, y si fuerzan los límites deben saber que están haciendo una apuesta legal. Con procedimientos sensatos, registros documentales claros y decisiones aprobadas por abogados, por lo general es fácil mantenerse en terreno seguro. El proyecto puede ser malo por otras razones, pero esas dos expresiones en sí no son el problema
    • La preocupación es que los sistemas del futuro cercano se vuelvan mucho más capaces que los actuales, y que para entonces sea demasiado tarde para responder
      Muchas personas en las grandes empresas de IA de frontera creen que una AGI que cambie el mundo podría llegar en un plazo de 5 años; como ejemplo, se puede ver Situational Awareness de Aschbrenner. También existe la preocupación paralela de que la IA pueda facilitar el terrorismo: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio escribió recientemente en detalle sobre sus posturas respecto de la seguridad de la IA y, aunque le da menos peso a la idea de que la IA de nivel humano llegue muy pronto, considera posible una inteligencia sobrehumana en 5 a 20 años. Dice que, “dada esa incertidumbre, la magnitud de los riesgos de catástrofe o de nivel extinción, y el hecho de que no predijimos los rápidos avances recientes en las capacidades de la IA, la cautela agnóstica es un camino mucho más sensato”
      Hinton también ha estado dando recientemente charlas detalladas sobre el riesgo de pérdida de control. En general, los partidarios ven este proyecto de ley como una norma de alcance acotado que aborda en cierta medida los peores escenarios de pérdida de control y mal uso: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • Revisé qué constituiría cuidado razonable y resumí mis conclusiones aquí: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • El científico de la computación Scott Aaronson escribió una publicación de apoyo en su blog: https://scottaaronson.blog/?p=8269
      Enlaza a artículos explicativos anteriores, y también hay argumentos a favor y en contra y más discusión en los comentarios
    • La California Office of Legislative Counsel siempre proporciona un “digest” para el texto completo de todos los proyectos de ley: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      No es una lista de pros y contras desde la perspectiva de la industria, pero probablemente sea la explicación más neutral de lo que hace este proyecto de ley

  • Era una legislación terrible, y menos mal que el gobernador la frenó
    Así es como se ve la captura regulatoria. Si alguien convierte tu producto en un bien de uso general, se vuelve ilegal que sigas haciéndolo gratis
    Es básicamente lo mismo que ilegalizar Linux para que todos usen Microsoft y Apple

    • No estoy de acuerdo. En este tema veo demasiados argumentos ideológicos y mal informados
      Creo que a muchas personas que sueñan con fundar una startup de IA les resulta difícil evaluar el panorama de la IA y sus pros y contras de manera racional y neutral
    • Leyes como esta también hacen que las empresas se den cuenta de que existen otros 49 estados y casi cientos de otros países
      California tiene un zeitgeist poco común que combina tecnología y universidades, pero con suficiente dinero y promesas no es algo imposible de reproducir en otros lugares
    • Es probable que este veto se haya debido, por encima de todo, a que California no quería quedar en desventaja en la carrera de la IA