Proyecto Warrior de ArchiveTeam

• ArchiveTeam Warrior es una herramienta virtual de archivado que permite participar en las tareas de ArchiveTeam para preservar datos web que podrían desaparecer, usando los recursos libres de una computadora personal.
• Warrior descarga sitios y los sube al archivo de ArchiveTeam; los usuarios aportan principalmente ancho de banda y algo de espacio en disco.
• Puede ejecutarse en Windows, OS X y Linux; el entorno recomendado es VirtualBox, aunque también se pueden usar VMware u otros programas similares de máquinas virtuales.
• En VirtualBox, se importa el appliance, se inicia la máquina virtual y luego se configura en el navegador el nombre de usuario y el proyecto en el que se participará.
• El appliance de máquina virtual más reciente es la version 4.1, y los proyectos también pueden ejecutarse con una instancia de Docker warrior en lugar de una VM.

---

Qué hace ArchiveTeam Warrior

• ArchiveTeam Warrior es una herramienta basada en máquina virtual para participar en las tareas de archivado web de ArchiveTeam.
  • Descarga datos de sitios y los sube al archivo de ArchiveTeam.
  • El proceso de ejecución está diseñado para que sea fácil participar.
• Warrior funciona como una máquina virtual, y el usuario aporta ancho de banda y algo de espacio en disco.
• El entorno de ejecución admite Windows, OS X y Linux.
  • Se recomienda VirtualBox.
  • También se puede usar VMware u otro programa similar.

Instalación y proceso de participación

• Empezar con VirtualBox

  • Descarga el archivo appliance.
  • En VirtualBox, selecciona File > Import Appliance para abrir el archivo.
  • Al iniciar la máquina virtual, descargará las actualizaciones más recientes y luego mostrará una indicación para abrir un navegador web.

• Configuración de Warrior

  • Accede a http://localhost:8001/ y revisa la página Settings.
  • Si eliges un nombre de usuario, tu progreso aparecerá en la tabla de clasificación.
  • En la pestaña All projects puedes elegir el proyecto en el que trabajar, o seleccionar ArchiveTeam’s Choice para que se te asigne automáticamente el proyecto más urgente.

• Versión más reciente y alternativa con Docker

  • El appliance de máquina virtual de Warrior se actualizó a version 4.1, y el enlace anterior al warrior3 appliance es un enlace antiguo.
  • También puedes ejecutar proyectos con una instancia de Docker warrior sin el appliance de VM; para más detalles, consulta el README del GitHub repository.
  • Los problemas o comentarios se tratan en el canal #warrior de hackint.
  • Puedes leer las Frequently Asked Questions.

Apoyo a ArchiveTeam e Internet Archive

• Internet Archive aloja los archivos de ArchiveTeam y, además de almacenar datos, mantiene una biblioteca a la que cualquiera puede acceder gratis.
  • Las donaciones pueden hacerse en Donate to the Internet Archive.
  • Para alquilar servidores destinados a ArchiveBot, servidores rsync, etc., o para donar a miembros de ArchiveTeam, consulta en la sala de IRC correspondiente.

Proyectos disponibles para participar

• Los proyectos actuales incluyen URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange y Periscope.
  • El proyecto de YouTube archiva videos seleccionados de YouTube y tiene una advertencia de que se almacena la dirección IP en la URL del video.
  • El proyecto de GitHub se realiza en colaboración con Internet Archive y GitHub.
  • El proyecto de Periscope está en estado PAUSED.

[GN⁺]

Opiniones en Hacker News

• Este tipo de proyectos es absolutamente necesario, pero hace falta una forma de ir más allá del simple archivo y lograr que esos datos realmente sean utilizables por el público.
  Probablemente a Reddit no le habría parecido una amenaza que alguien raspase los datos y creara respaldos de difícil acceso, pero sí le habría asustado mucho más una red distribuida de nodos ejecutando copias parciales de Reddit para servir los datos a clientes locales primero o a mirrors de Lemmy.

  • La mayoría de los proyectos crean archivos WARC, los empaquetan, los suben a archive.org y terminan en la Wayback Machine: https://web.archive.org/
    Como referencia, Archive Team es independiente de Internet Archive.
  • A Reddit le disgustaban bastante los servicios que espejaban sus datos y al final cambió los términos de uso de la API para obligarlos a borrar los datos y cerrar.
  • No estoy seguro de que la ventaja aquí sea amenazar a una empresa que puede cambiar la API cuando quiera.
    Basta con ver PushShift, Nitter y Youtube Vanced.
  • Uno puede imaginar una internet P2P efímera, temporalmente desconectada y local-first, donde BGP quede obsoleto y se use una memoria direccionable globalmente de contenido/cómputo compartido y memorizado mediante DHT/máquinas virtuales.
    La identidad de algo sería su propia composición.

• Publicaciones relacionadas:
  ArchiveTeam Warrior: preservar imgur tanto como sea posible - https://news.ycombinator.com/item?id=35983510 - mayo de 2023, 2 comentarios
  Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - marzo de 2022, 51 comentarios
  ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - diciembre de 2021, 71 comentarios

• Pensé que esto se podría ejecutar con Docker, así que fui a buscar el repositorio y, para mi gusto, ya estaba todo listo.
  https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
  https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

• La configuración es muy sencilla.
  Ahora que mi plan de internet pasó a ser ilimitado, me gustó poder aportar aunque fuera de una manera pequeña.
  Quise ver si podía ejecutar el script de ArchiveTeam Warrior en un teléfono Android en desuso, pero no tiene soporte directo y se me salía de mis capacidades.

  • Ejecutarlo como contenedor de docker compose en un equipo x86 fue realmente fácil.
    Ojalá tuviera tiempo para averiguar cómo configurarlo dentro de QEMU en una Raspberry Pi, y si se publicara un archivo compose así, creo que más gente podría usarlo.

• Hace unos meses diseñé un sistema para que la gente pudiera aportar espacio en disco a servicios como archive.org.
  Si alguien dijera “quiero alojar 100 GB de contenido de archive.org”, el sistema se comunicaría con archive.org, encontraría el contenido actualmente más raro y se lo enviaría al usuario.
  También habría una función de búsqueda para localizarlo si alguien dijera “quiero recibir el contenido X en esta red”.
  Se parece más a una capa delgada encima de torrent, pero hoy no existe algo así y cuando contacté a gente relacionada con archivos no mostraron mucho interés.

  • ¿No se suponía que IPFS iba a cumplir precisamente ese papel?
  • Archive Team tuvo en realidad un proyecto discontinuado llamado INTERNETARCHIVE.BAK que era, en esencia, esta misma idea.
    Eso sí, usar esa herramienta te haría violar la ley por infracción de copyright.
  • libgen tiene un rastreador de este tipo para libros: https://phillm.net/libgen-seeds-needed.php
    Ahora parece estar roto.
  • Ojalá alguna de las filecoin hubiera resuelto esto.
    Bastaría con pagar por alojar bloques de datos durante un período fijo y una cantidad fija de descargas.
  • Es una idea realmente buena; me pregunto por qué no la adoptaron.
    ¿Te dieron alguna razón?

• Si quieres contribuir a la preservación digital, vale la pena considerar ejecutar el appliance Warrior o el contenedor de Docker.

• No me queda clara la ventaja de que la gente descargue sitios y luego los suba usando la configuración de archivado preparada por Archive Team.
  ¿Qué tiene de mejor frente a que Archive Team descargue directamente los sitios y los meta en su propio archivo?

  • A) Requiere menos recursos del lado de Archive Team.
    B) Y quizá más importante, las solicitudes se distribuyen desde muchos lugares, así que hay menos probabilidad de recibir rate limits o bloqueos.
  • Archive Team no es Internet Archive.
    Hace falta algún lugar donde descargar primero las cosas antes de enviarlas a archive.org.

• Tengo curiosidad por cómo este proyecto evita que yo, como atacante, meta datos basura aleatorios o reescriba incorrectamente las páginas descargadas de una forma específica.
  En HTTP parece imposible, y en HTTPS, ¿quién hace la terminación TLS?
  Si Warrior es un simple proxy TCP y Archive es el cliente TLS, podría ser seguro, pero en https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior no parece estar explicado claramente.

  • No lo evita, pero en la práctica no es un problema.
    El objetivo es obtener la mayor cantidad posible de datos en el menor tiempo posible antes de que el sitio desaparezca.
    Consideran que es mejor que se mezcle un 1% de datos basura a perder un 30% de preservación por paranoia.
    En HTTPS, Warrior literalmente ejecuta wget para guardar en archivos WARC y luego sube esos archivos al servidor de seguimiento.

• Quiero contribuir con una Raspberry Pi, pero la falta de soporte para ARM es algo incómoda.
  Me gustaría simplemente descargar el contenedor, ejecutarlo y listo, pero no hay una forma fácil de hacerlo: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

  • Si compilas wget-at para ARM, hay algunos problemas de consistencia.
    Aun así, puede ejecutarse bajo emulación en modo usuario de QEMU, y de hecho algunos hosts lo usan así.

• Al leer el README, encontré la siguiente indicación.
  Version 4 is now available at
  https://warriorhq.archiveteam.org/downloads/warrior4/
  Aquí hay un README con el enlace al código fuente de la nueva versión: https://github.com/ArchiveTeam/warrior4-vm
  Esta nueva versión también se menciona en la página principal del wiki.
  An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
  ArchiveTeam debería actualizar la URL de descarga del appliance.