Nightshade: una herramienta ofensiva para artistas contra los generadores de arte con IA

¿Qué es Nightshade?

• Los modelos de IA generativa y quienes los entrenan han demostrado la capacidad de usar contenido en línea para el entrenamiento de modelos.
• Los propietarios de contenido y los creadores casi no tienen herramientas para impedir que su contenido sea usado como datos de entrenamiento para modelos de IA generativa en contra de su voluntad.
• Nightshade es una herramienta que convierte imágenes en muestras de datos no aptas para el entrenamiento de modelos, y ayuda a disuadir a quienes entrenan modelos ignorando los derechos de autor y recolectando datos sin autorización.

Cómo funciona Nightshade y cuáles son sus límites

• Nightshade convierte imágenes en muestras “envenenadas”, haciendo que los modelos entrenados sin consentimiento aprendan comportamientos inesperados.
• La herramienta no busca destruir modelos, sino aumentar el costo de entrenarlos con datos sin licencia, para que licenciar imágenes de los creadores se vuelva una alternativa viable.
• Nightshade funciona de manera similar a Glaze, que sirve para defenderse de la imitación de estilo, pero mientras Glaze es una herramienta defensiva, Nightshade está diseñada como una herramienta ofensiva que distorsiona la representación de características dentro de los modelos de imágenes con IA.

Nightshade vs. Glaze

• Glaze es una herramienta defensiva que artistas individuales usan para protegerse de ataques de imitación de estilo.
• Nightshade es una herramienta ofensiva que los artistas pueden usar en grupo para interferir con modelos que extraen imágenes sin consentimiento.
• Lo ideal es que los artistas apliquen tanto Glaze como Nightshade al publicar sus obras en línea.

Riesgos y limitaciones

• Los cambios provocados por Nightshade se notan más en obras de arte con colores planos y fondos suaves.
• Como ocurre con los ataques o defensas de seguridad, es poco probable que Nightshade siga siendo una prueba válida a muy largo plazo.
• Nightshade está diseñada para ejecutarse sin red, por lo que no envía datos ni obras de arte a nosotros ni a terceros.

Nightshade y WebGlaze

• Nightshade v1.0 fue diseñada como una herramienta independiente y no ofrece funciones de defensa contra la imitación como Glaze.
• Se está probando cómo funcionan juntas Nightshade y Glaze, y cuando esté listo, planean lanzar Nightshade como función adicional en WebGlaze.

Opinión de GN⁺

• Nightshade es una herramienta innovadora que permite a los creadores proteger sus derechos de autor y enviar una advertencia a quienes entrenan modelos de IA usando imágenes sin autorización.
• Esta herramienta puede tener un impacto positivo en el ecosistema del arte digital al desalentar el uso no autorizado de obras creativas y fomentar acuerdos de licencia con los titulares de derechos.
• La combinación de Nightshade y Glaze ofrece una nueva forma para que los artistas compartan sus obras en línea de manera más segura.

[GN⁺]

Opinión de Hacker News

• Enlace al paper: arXiv:2310.13828
  • Este paper parece introducir artefactos a un nivel que a muchos artistas les resultaría difícil aceptar.
• Esta tecnología
  • a) apenas funciona con los procesos de entrenamiento de la generación pasada,
  • b) no funciona en absoluto con los procesos de entrenamiento más recientes (etiquetado con GPT-4V, LLaVA, BLIP2, etc.).
  • c) incluso si resulta efectiva y gana popularidad, se espera que sea fácil contrarrestarla.
  • Glaze, un trabajo previo de los autores, tampoco parece ser efectivo, y sus resultados podrían estar sobrevalorados frente a la realidad.
• Estas herramientas no tienen posibilidades de triunfar en el mercado, y hay formas de eludirlas de inmediato sin afectar la percepción humana.
  • Si los artistas u otras personas quieren impedir que se usen resultados humanos para entrenamiento, tendría que ser mediante acciones legales.
  • Tampoco sería una solución perfecta, y más bien podría impulsar el desarrollo de redes de entrenamiento distribuidas.
• Esto parece una "carrera armamentista" o un "juego del gato y el ratón" sin sentido.
  • A quienes no les importan las opiniones de los artistas les bastaría con posprocesar las imágenes para destruir los cambios sutiles del algoritmo Nightshade.
  • En el futuro, por presión social, los tribunales probablemente terminarán poniéndose del lado de los artistas, y ellos podrán impugnar imágenes generadas que sean "demasiado similares" a su estilo.
  • O bien los artistas podrían renunciar a monetizar la imagen en sí y concentrarse únicamente en crear obras físicas.
• Mediante experimentos de fine-tuning de Stable Diffusion XL con imágenes malas o inconsistentes, se muestra que usar esas imágenes como prompts negativos puede hacer que el modelo produzca mejores imágenes.
  • Crear este tipo de datasets podría, paradójicamente, ayudar a mejorar los modelos de arte generativo con IA.
• Quiero que se apliquen tarifas graduales al uso de derechos de autor / propiedad intelectual / patentes.
  • Por ejemplo, quiero que se apliquen tarifas de licencia con una tasa vinculada a los ingresos.
  • Quiero un plazo de copyright de 0 años después de la muerte si pertenece a una persona, y de un máximo de 20-30 años si pertenece a una empresa.
  • Quiero que las multas a empresas por no declarar el uso o no pagar tarifas sean muy altas para desalentar el robo.
• Se señala la contradicción entre que los artistas aprendan diversos estilos viendo obras de otros artistas y que luego defiendan impedir que la IA aprenda estilos a partir de sus obras.
• Esto debilita la noción de "precisión de la información" y reconoce un juego constante de ataque y defensa.
• Pronto mucha gente podrá crear obras de arte de alta calidad con facilidad, y esa es una perspectiva muy interesante.