Web scraping para mí, pero no para ti
(blog.ericgoldman.org)- A medida que los datos web públicos se vuelven un recurso clave para la IA generativa y la competencia entre plataformas, quién puede llevarse los datos se convierte cada vez más en una cuestión legal, contractual y de poder de mercado
- Los datos que plataformas como LinkedIn y Facebook buscan proteger suelen ser contenido generado por usuarios, un ámbito en el que a las plataformas les resulta difícil reclamar directamente derechos de propiedad
- Los mecanismos para frenar el scraping pasaron de la intrusión sobre bienes muebles en los inicios y la CFAA en los años 2000, a centrarse en reclamos por incumplimiento contractual después de hiQ Labs v. LinkedIn
- Como en la demanda de Twitter/X contra Bright Data, las disputas recientes se han acotado a invocar los términos de uso para reclamar incumplimiento contractual, interferencia contractual y enriquecimiento injusto
- Las empresas pueden bloquear los datos de sus propios sitios calificándolos de “proprietary”, mientras intentan tomar datos públicos ajenos; los casos sobre datos de entrenamiento de IA generativa serán la próxima prueba de esta contradicción
El scraping es un problema de acceso a datos
- El web scraping es una forma de obtener a gran escala conocimiento disponible públicamente en internet, y el punto central es quién puede acceder a los datos y usarlos, y con qué fines
- Algunos datos en internet pueden estar protegidos por derechos de autor, marcas registradas u otros derechos de propiedad intelectual, pero en muchos casos a quien busca protegerlos no le resulta fácil reclamar derechos de propiedad intelectual
- Las empresas de redes sociales han presentado activamente demandas contra el scraping, pero el contenido que LinkedIn y Facebook intentan proteger suele ser contenido generado por usuarios
- Los términos de uso otorgan a la plataforma una licencia para usar el contenido de los usuarios, pero por lo general los intereses bajo derechos de autor pertenecen al usuario
- La plataforma niega en sus términos tener derechos de propiedad sobre esos datos, pero en la práctica los trata como si fueran de su propiedad
El desplazamiento de los medios legales para frenar el scraping
- En los primeros tiempos de internet, la teoría de intrusión sobre bienes muebles se usó como mecanismo para frenar el scraping
- La lógica era que las solicitudes masivas de datos no deseadas interferían con los servidores informáticos, que son bienes tangibles privados
- Se requería un elemento de daño, y a fines de los años 90 y principios de los 2000 hubo scrapers torpes que sobrecargaban sitios web o los dejaban fuera de servicio
- A medida que cambió el entorno tecnológico, esta teoría perdió fuerza persuasiva
- La capacidad de los servidores aumentó considerablemente
- Muchos scrapers limitan el volumen de solicitudes y operan a un nivel difícil de detectar para el servidor anfitrión o con impacto mínimo
- Se volvió poco común poder probar un daño real al servidor o a bienes tangibles
- Desde principios de los 2000 hasta 2017, la Computer Fraud and Abuse Act (CFAA) fue el principal mecanismo disuasorio
- La CFAA prohíbe acceder sin autorización a una “computadora protegida”
- En el scraping, el punto clave era si el acceso posterior a una carta de cese o a medidas antibot, que revocaban la autorización, era “no autorizado”
El resultado complejo de hiQ Labs v. LinkedIn
- Entre 2001 y 2017 era común una interpretación simple: si se seguía accediendo después de revocada la autorización, surgía responsabilidad bajo la CFAA
- El caso hiQ Labs, Inc. v. LinkedIn Corp. de 2017 llamó la atención porque reconoció, en cierta medida, los derechos del scraper hiQ Labs para acceder a datos públicos de LinkedIn
- El Ninth Circuit consideró que, si una empresa como LinkedIn podía decidir a voluntad quién recopila y usa datos que no posee, que pone a disposición pública y que ella misma recopila y utiliza, existía el riesgo de crear un monopolio de información
- Pero ese resultado fue casi una victoria pírrica
- Posteriormente, el tribunal de distrito determinó que “el User Agreement de LinkedIn prohíbe claramente el scraping y el uso no autorizado de los datos scrapeados”
- Con base en ello, LinkedIn obtuvo una orden judicial permanente y una indemnización por daños contra hiQ Labs
- Desde entonces, el principal medio para frenar el scraping pasó a ser el reclamo por incumplimiento contractual, más que la CFAA
El derecho contractual funciona, en la práctica, como un derecho de propiedad sobre los datos
- Recientemente, Twitter/X Corp. presentó demandas contra varios scrapers, incluido Bright Data
- Bright Data es considerada una de las mayores empresas de web scraping del mundo
- Las reclamaciones de Twitter contra Bright Data fueron tres: incumplimiento contractual, interferencia contractual y enriquecimiento injusto
- Hace 10 años, en las demandas por scraping era común que los demandantes presentaran entre 10 y 15 reclamaciones legales y probaran varias teorías, pero recientemente ha aumentado la confianza en que los tribunales harán cumplir los reclamos por incumplimiento contractual
- En esta estructura, mediante términos de uso en línea, el sitio web anfitrión puede definir como quiera los derechos sobre los datos
- El artículo de Mark Lemley de 2006 en Minnesota Law Review, Terms of Use, sostuvo que al pasar del derecho de propiedad al derecho contractual, el alcance de los derechos del dueño de un sitio web deja de ser definido por la ley y pasa a ser definido por el propio dueño del sitio
- Los tribunales han permitido un sistema en el que los contratos en línea funcionan como una especie de derecho de propiedad intelectual temporal sobre los datos del sitio, en lugar de aplicar reglas generales sobre el uso de datos o las reglas tradicionales de propiedad intelectual
- Sin embargo, puede haber problemas si se estructura de una forma completamente equivalente a la protección por derechos de autor
La doble postura de las empresas frente al scraping
- En el marco legal que usa el incumplimiento contractual como si fuera un derecho de propiedad, no hay exigencia de coherencia
- Una empresa puede afirmar con firmeza qué es “proprietary” en su propio sitio
- Al mismo tiempo, puede sostener en otros sitios qué datos son de libre extracción
- Microsoft actualizó recientemente sus términos generales de uso para prohibir el scraping, la recolección y métodos similares de extracción dirigidos a servicios de IA
- En el mismo periodo, OpenAI, asociada a Microsoft, presentó GPTbot, diseñado para hacer scraping de internet
- Los términos de uso de OpenAI también prohíben el scraping
- LinkedIn, subsidiaria de Microsoft, se declaró vencedora en uno de los litigios de web scraping más destacados de Estados Unidos y obtuvo una orden judicial permanente para impedir que una antigua competidora hiciera scraping o accediera de forma permanente a datos públicos y privados
- Meta también demandó a una empresa que scrapeaba contenido público para venderlo, pero en el pasado pagó a ese mismo tipo de scraper por hacer scraping de datos públicos
Los tribunales y la próxima prueba
- Esta doble postura es criticada no solo como un problema de las empresas, sino porque los tribunales han permitido una estructura que la hace posible
- Entre los blancos de esa crítica están Register.com v. Verio, Inc., el Northern District of Texas que hizo posibles litigios relacionados con Southwest Airlines, y los tribunales que en el caso hiQ Labs no explicaron la inconsistencia entre una orden preliminar bajo la CFAA y una orden permanente por incumplimiento contractual
- Si se permite que empresas privadas inventen derechos de propiedad intelectual mediante contratos de adhesión en línea, las decisiones sobre acceso a datos, que deberían ser asuntos de interés público, pueden quedar en manos de decisores privados
- Como los contratos, incluidos los contratos en línea, son una cuestión de derecho estatal, es difícil imaginar una solución simple
- Una posible salida mencionada es una interpretación más amplia de la doctrina de preeminencia del derecho de autor, pero la doctrina actual de preeminencia está confusa por divisiones entre circuitos, y la Supreme Court rechazó recientemente una oportunidad de resolverlo
- Independientemente del estado actual de la ley, la próxima prueba serán los casos sobre datos de entrenamiento de IA generativa, y las inconsistencias legales en esta área probablemente seguirán generando debate
1 comentarios
Comentarios de Hacker News
Me confunde en qué quedó el caso HiQ contra LinkedIn. Según entiendo, LinkedIn demandó a HiQ, la Corte de Apelaciones del Noveno Circuito falló a favor de HiQ, LinkedIn llegó hasta la Corte Suprema, pero la Corte Suprema anuló y devolvió el caso citando Van Buren, y el Noveno Circuito lo volvió a revisar y llegó a la misma conclusión.
Después LinkedIn logró que se levantara la medida cautelar que le prohibía bloquear a HiQ, y en noviembre de 2022, tras un fallo mixto, parece que todo terminó finalmente en un acuerdo confidencial. Todos citan este caso con frecuencia, pero no suelen entrar en los detalles.
Al leer el resumen del fallo de noviembre de 2022, parece que el punto en disputa fue que HiQ hacía que la gente iniciara sesión, por lo que se aplicaban los términos de uso, y al final parece que el tribunal aceptó el argumento de LinkedIn de que HiQ había violado los términos de uso de LinkedIn.
https://www.natlawreview.com/article/court-finds-hiq-breache...
La demanda antimonopolio de hiQ fue desestimada en la etapa de moción de desestimación y, más o menos por entonces, hiQ cerró, pero un patrocinador con mucho dinero siguió pagando los costos del litigio. LinkedIn continuó con otras reclamaciones, como incumplimiento de contrato, y ganó en la moción de desestimación; la Corte Suprema devolvió el caso al Noveno Circuito después de Van Buren, y el Noveno Circuito volvió a fallar a favor de hiQ en el tema de la CFAA.
Después se levantó la medida cautelar, hiQ perdió casi por completo en juicio sumario y al final izó la bandera blanca: aceptó una orden judicial permanente que concedía la mayoría de las exigencias de LinkedIn y pagó 500.000 dólares a LinkedIn.
Este problema empeora cada día a medida que aumentan los “contratos” tipo términos y condiciones, y se vuelve casi imposible vivir en la sociedad moderna sin aceptarlos. Incluso comprar un SSD nuevo ya viene acompañado de aceptar términos y condiciones.
La ley importa cada vez menos, y estamos cada vez más gobernados por contratos de adhesión que las grandes empresas imponen unilateralmente.
Si es un cartel publicitario, entonces tapar las partes que no me gustan, es decir, usar un bloqueador de anuncios, pasa a ser moralmente incorrecto. Quien posee la página web quiere control, así que prefiere este punto de vista; y quienes no pueden cambiar el aspecto de una página web, como los usuarios comunes, también tienden a aceptarlo así.
Si es un folleto, tengo la libertad de recortarlo y reordenarlo como quiera. Técnicamente, esto es lo más correcto. Una página web no es más que unos cuantos bits de información que se me entregan, y mientras yo controle mi computadora, puedo recortar esos bits y verlos de la manera que quiera.
Se puede decir que Amazon.com contiene la página web de Amazon y que Amazon posee esa página. Pero yo siempre he visto Amazon.com solo en mis propios dispositivos, que no son de Amazon, o en dispositivos de otras personas. Amazon.com no existe sobre un cartel publicitario; necesita dispositivos electrónicos que pertenecen a otras personas. Entonces, ¿qué derechos tiene el dueño de esos dispositivos electrónicos? ¿En qué momento los píxeles de mi pantalla se vuelven tu espacio protegido?
Para leer el contrato tienes que escanear un código QR con el teléfono. Vi algo parecido en un parque: al entrar, quedabas vinculado a un acuerdo legal por el cual no demandarías al parque o seguirías las reglas publicadas.
Uno podría pagar una cuota mensual a una cooperativa de clientes o a una organización tipo seguro, respaldada por un equipo legal. Ese contrato sería tan exigible, o tan no exigible, como el contrato de la empresa, así que se equilibrarían las cosas. Entonces ya no haría falta leer lo que la empresa haya puesto en letra chica.
Si la empresa no acepta el contrato del cliente o no permite eludir sus propios términos, simplemente te vas. La transacción no se concreta, y otra empresa se queda con el cliente.
La sensación de que parece hipocresía desaparece hasta cierto punto si se ve esto como competencia, no como cooperación ni como una comunidad igualitaria. En la práctica también es competencia. Uno no le diría a un equipo de fútbol: “Está bien que intentes meterme un gol, ¿pero cuando yo intento meter uno de repente bloqueas la pelota?”
Por supuesto, ellos dirán “el web scraping consume recursos, así que dejen de hacerlo”, mientras por detrás seguirán haciendo web scraping
Claramente es una mala conducta, pero no creo que sea hipócrita. Porque encaja por completo con empresas inmorales que pelean constantemente para maximizar sus propios beneficios y minimizar los de los demás
Pero intentar impedir cierta conducta mediante medios legales se parece más a pedirle al árbitro que prohíba cierto tipo de jugada mientras uno mismo hace la misma jugada. En los deportes esto también pasa a menudo, pero por lo general se ve como hipocresía
Claro que los scrapers también pueden hacer cosas molestas. Pueden golpear el servidor sin parar por flojera, o descargar por error el mismo contenido una y otra vez. Pero para eso no hace falta una demanda. Si llega al nivel de un ataque de denegación de servicio, las leyes existentes ya pueden encargarse
Si algunas empresas empeoran las cosas para todos y solo se enriquecen ellas, deberíamos replantearnos si hay que seguir dándoles el privilegio de personalidad jurídica. No tenemos por qué permitir parásitos y depredadores que toman lo que quieren a costa nuestra
Aunque lo hagan de forma inmoral y con mala fe, sigue siendo hipocresía. De hecho, mientras más sea así, más lo es. Lo importante es qué política defienden, y no quedan exentos solo porque no crean sinceramente en ella
No entiendo por qué esto muestra hipocresía. Hay una gran diferencia entre rastrear una web de acceso público y hacer scraping de una aplicación web autenticada o una API. Los motores de búsqueda legítimos rastrean la web pública todo el tiempo
Y aun así prohíben a otros hacer lo mismo que ellos hicieron
Compararlo con los motores de búsqueda es distinto. Los motores de búsqueda scrapean la web pública para crear un índice de búsqueda, y con ese índice ofrecen resultados de búsqueda y anuncios. Lo importante es que los resultados de búsqueda, en general, envían a la gente a los sitios web scrapeados, dándoles a esos sitios la oportunidad de ganar dinero
Veo dos problemas. El web scraping es claramente un problema de modelo de negocio, y parte de eso se debe a la escala
Si ofreces contenido gratis y tratas de sostenerlo con publicidad, en el momento en que alguien más captura el valor del contenido sin ver los anuncios, ese modelo empieza a derrumbarse. Los bloqueadores de anuncios, las respuestas incluidas en los resultados de búsqueda de Google, los clones de Stack Overflow y cosas como ChatGPT son ejemplos
El otro problema es la escala, y no sé cómo resolverlo. Cuando el gobierno crea una política amigable que permite usar palas en un parque, puede pensar que será útil para gente como campistas. Pero si aparece un equipo profesional de minería a cielo abierto, la historia cambia
Si tienes un sitio que ofrece buena información gratis y gana dinero vendiendo libros o servicios profesionales, puede ser una forma de vida viable. Aunque una respuesta termine en el recuadro de respuestas de Google, para contenidos o análisis más complejos la gente todavía tendrá que visitar el sitio y leer, y de ahí puedes conseguir seguidores
Pero si algo como ChatGPT puede “leer” mis escritos y repartir el 80% del valor sin que se sepa la fuente, estoy acabado. El modelo de negocio deja de funcionar. Todos los modelos basados en compartir buena información gratis fracasan. Es el mismo problema que están viviendo ahora los artistas
No veo cómo arreglarlo sin algún tipo de prohibición. Pero mientras no todos los países la hagan cumplir, habrá que adaptarse al mínimo común denominador, y al final habrá que cerrar bajo llave todo el contenido. Nada de búsqueda web, nada de respuestas de Google, nada de ChatGPT. Escribir “por favor no hagas scraping” en robots.txt no va a funcionar
Los derechos de autor son un intento de proteger el modelo de negocio de los autores que quieren vender algo que es muy fácil y barato de copiar. Los intentos de limitar legalmente el web scraping son un intento de proteger el modelo de negocio de creadores que dan gratis algo fácil y barato de copiar, pero quieren que necesariamente vengas directamente al creador para recibir la copia gratuita
Por lo tanto, también deberíamos poder usar servicios GPT para entrenar nuestros propios modelos o scrapear cualquier cosa de acceso público. Nuestra única defensa es un servicio competidor que procese los datos mejor que cualquier modelo de lenguaje grande de propósito general. La solución casi siempre es la competencia justa, no la regulación
Una vez que se obtienen los datos, pueden distribuirse. Si publicarlos tal cual es una infracción de derechos de autor, bastará con esconderlos detrás de la IA y difuminarlos para eludirlo bastante bien
Si las bibliotecas de préstamo gratuito y los índices de búsqueda web no existieran y hoy alguien intentara crearlos desde cero, las demandas los habrían destrozado por completo
La base principal en la que se apoyan estos casos es una comprensión ambigua de los acuerdos contractuales. Mi opinión es doble. Los EULA no son documentos hechos para que las empresas los firmen y, para empezar, considero que los EULA son basura.
Son completamente unilaterales, y la mayoría probablemente serían ilegales o no aguantarían en un tribunal si alguien tuviera realmente los recursos para pelear.
Creo que la responsabilidad de garantizar que se haya leído y entendido un EULA debería recaer en la empresa que lo creó, y que no debería poder hacerse cumplir si no pueden demostrar, antes de acceder al sitio, que la persona entendió todo el EULA. Un EULA no es un contrato comercial. Es una especie de pseudoderecho corporativo que una empresa intenta adjuntar al uso de un producto.
¿Qué producto en el mundo viene con una lista tan larga de reglas sobre cómo usarlo y dice que, si las rompes, te pueden demandar?
Así que, volviendo a esto como “scraping de empresa a empresa”, si lo pusiste en la web y ese contenido no tiene un copyright real, es decir, si no lo creaste tú directamente, no tienes derecho a protegerlo contra el “robo”.
Claro, sé que John Deere impide que sus clientes reparen sus propios tractores, pero eso también es una estupidez.
El caso enlazado de Register.com contra Verio me pareció interesante. Creo que el tribunal tomó una decisión más matizada sobre los contratos de términos y condiciones de lo que suele conocerse.
En este caso, Verio llamó a la API de Register con un propósito que Register prohibía. Pero Register solo proporcionó el texto del “contrato” que declaraba la restricción después de que terminaba la llamada. Probablemente era parte de la respuesta de la API.
El tribunal efectivamente consideró que eso era demasiado tarde. Si la única forma de conocer las condiciones de una llamada a la API es llamar a esa API, entonces se trata de un contrato shrink-wrap y las condiciones no son válidas.
Sin embargo, el tribunal aplicó esta decisión solo a la primera llamada a la API. Verio tenía empleados de quienes se podía esperar sentido común, y después de la primera llamada tuvieron la oportunidad de leer el texto y conocer la restricción. Por lo tanto, en todas las llamadas posteriores a la API, como los empleados de Verio sabían que estaban haciendo algo que Register había prohibido explícitamente y aun así lo hicieron, el tribunal lo consideró un incumplimiento de contrato.
Lo importante es que el tribunal no abandonó el principio de que, para celebrar un contrato, una persona debe conocer sus condiciones. Este caso en realidad se parece más a rechazar una situación en la que alguien conoce las condiciones pero finge no conocerlas.
[1] https://en.m.wikipedia.org/wiki/Register.com_v._Verio
El caso del Allen Institute discutido la semana pasada es un buen ejemplo.
https://news.ycombinator.com/item?id=37181415
Ellos “publicaron” un conjunto de datos creado raspando material de dominio público, pero le adjuntaron una licencia que limita cómo la gente puede usarlo.
La frase “el contenido que intentan proteger no es de ellos, sino de los usuarios” es cierta solo hasta cierto punto. Facebook dice que el contenido pertenece al usuario. Así les resulta más fácil explicar que no tienen responsabilidad cuando hay contenido ilegal.
Pero el usuario también acepta otorgarle a Facebook una “licencia mundial, no exclusiva, transferible, sublicenciable y libre de regalías para usar cualquier contenido de propiedad intelectual que publique en Facebook o en relación con Facebook”.
Por ejemplo, aunque un usuario borre su propio contenido, Facebook aún puede usarlo y mostrárselo a sus amigos. Por eso digo que es “hasta cierto punto”.