repo-slopscore: detección de contribuciones de AI/LLM en repositorios Git mediante análisis del historial de commits

 (slopscan.ava.pet)
1 puntos por GN⁺ 3 시간 전 | 1 comentarios | Compartir por WhatsApp
  • repo-slopscore se presenta como una herramienta que detecta contribuciones de AI/LLM analizando el historial de commits de repositorios Git
  • El servicio ofrece inicio, escaneo de repositorios y un enlace al código fuente; el código fuente está publicado en codeberg.org/polyphony/repo-slopscore
  • El número total de repositorios escaneados se muestra como 3058, y la lista de escaneos recientes muestra la URL del repositorio junto con la hora de análisis en UTC
  • Los objetivos de escaneo incluyen no solo GitHub, sino también varios servicios de hosting Git como Codeberg, Bitbucket, SourceHut, git.kernel.org y chromium.googlesource.com
  • Algunos repositorios aparecen duplicados por diferencias como la barra final o el sufijo .git, por lo que al interpretar la lista hay que considerar diferencias de normalización de URL

Puntos clave

  • repo-slopscore se presenta como un servicio que detecta contribuciones de AI/LLM en repositorios Git con base en el análisis del historial de commits
  • La página pública ofrece una función de escaneo de repositorios, una lista de repositorios escaneados recientemente y un enlace al código fuente
  • El total de repositorios escaneados se muestra como 3058
  • La lista de escaneos recientes incluye helix-editor/helix, Agoric/Agoric-sdk, FiloSottile/age, github/copilot-cli, fish-shell/fish-shell, tmux/tmux y httpie/cli
  • Cada enlace de resultado de escaneo está formado agregando la dirección original del repositorio codificada en URL debajo de slopscan.ava.pet/repo/

Contexto importante

  • Los objetivos de escaneo no se limitan a GitHub; incluyen varios dominios de hosting como Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, gcc.gnu.org, gerrit.wikimedia.org y git.ffmpeg.org
  • La lista incluye proyectos de código abierto conocidos como OpenRGB, coreboot, gentoo/gentoo, guix/guix, wlroots, forgejo, ziglang/zig, FFmpeg, FreeCAD, WebKit y NixOS/nixpkgs
  • También aparecen repositorios relacionados con seguridad, sistemas e infraestructura como Mbed-TLS/mbedtls, OpenVPN/openvpn, WireGuard/wireguard-windows, Yubico/yubikey-manager, NationalSecurityAgency/ghidra y ReFirmLabs/binwalk
  • También hay repositorios con nombres relacionados con AI o slop, incluidos anthropics/claude-code, anthropics/claudes-c-compiler, codeberg.org/brib/slopfree-software-index y codeberg.org/jruz/slop-detector
  • Las horas de análisis se distribuyen desde inicios de mayo de 2026 hasta la franja de las 00 horas UTC del 14 de junio de 2026, y la lista de escaneos recientes muestra entradas desde 2026-06-13 23:22:37 +0000 hasta 2026-06-14 00:36:00 +0000
  • Hay casos donde el mismo proyecto aparece como entradas separadas con distintas formas de URL, como aur.archlinux.org/yay y aur.archlinux.org/yay.git, o TeamNewPipe/NewPipe y TeamNewPipe/NewPipe/

Lecturas relacionadas

1 comentarios

 
GN⁺ 3 시간 전
Opiniones en Lobste.rs

  • No quiero hablar mal de algo hecho por otra persona, pero este proyecto se siente como si su objetivo fuera la negatividad
    Parece una herramienta para automatizar el desprecio hacia proyectos de software hechos con herramientas o métodos con los que uno no está de acuerdo, o que aceptan contribuciones de ese tipo
    La calificación tampoco es útil. nixpkgs gets a 0 (F) score recibe 0 puntos por 228 “señales de commits” que sugieren uso de IA, pero el repositorio nixpkgs actualmente tiene 1,016,046 commits. Eso significa que 0.022% del total basta para sacar 0
    Bevy gets a 97 (A+) score tampoco obtiene 100 solo por un single pull request con la anotación “co-authored by Claude”. No refleja si ese PR era bueno, si al hacer merge los maintainers no vieron la anotación “co-authored by”, o si Bevy tiene una política razonable sobre contribuciones con IA
    El punto central es que esta herramienta tira por la borda el contexto y los matices. Elimina la necesidad de que una persona revise directamente el proyecto cuando hay dudas, entienda qué piensan los maintainers y qué motivos y sentimientos tienen quienes construyen el proyecto. Metes una URL y solo sale una puntuación
    Por la carga que tiene la palabra “slop” y por lo severo de la calificación, se siente deliberadamente negativa, y también deshumanizante porque aplasta en una sola cifra el juicio humano y los elementos humanos involucrados en producir software, incluso cuando hubo ayuda de IA. Si es un proyecto con gran interés en el software que otras personas construyen y en cómo lo hacen, esta herramienta y el proceso de crearla parecen carecer de cuidado y reflexión

    • Me preocupa que por esto la gente vaya a acosarme. Este año ya ha sido bastante duro
    • Parece que las señales dependen de criterios bastante débiles. Probé con un repositorio que tenía código generado por LLM y código humano en proporción 50:50, pero como no había commits cofirmados, solo detectó agents.md como evidencia y le dio 95 puntos
      Esperaba algo más cercano a un pangrama que detectara rastros de LLM mirando el código real
    • El propósito de este proyecto es hacer transparentes los datos. Es decir, el dato de si hay rastros de uso de LLM visibles en el historial de commits o en el árbol de código fuente
      Ninguna herramienta es perfecta, pero esta facilita descubrir esa información. Cómo usarla depende del usuario. Sí coincido en que la palabra “slop” es problemática, pero no estoy de acuerdo con el resto de las críticas
    • Me entristece mucho que una gran parte de la comunidad open source parezca haberse convertido en aquello contra lo que decía luchar hasta hace poco
      Este tipo de herramientas ignoran todo y llaman a todo slop o vibe coding, y terminan generando reacciones de acoso hacia quienes son dueños de los proyectos. Sorprende bastante ver la agresividad del bando anti-IA en gente de la que pensaba que valoraba la empatía, la comprensión y la mente abierta
    • Hacer sentir mal a unos cuantos vibe coders no es nada comparado con el daño humano de la industria de la IA
      Seguro se pondrán muy tristes si los LLM hacen scraping de este codebase :(

  • ¿Hay alguna forma de optar por no aparecer en esta lista con mi proyecto? Me preocupa el acoso y quisiera quitar esa posibilidad antes de que ocurra de verdad

  • “Soy la autora de esta herramienta, esto es autopromoción” se parece menos a un disclaimer y más a una divulgación
    Y como se ve que marcaste “I am the author”, aparece como “authored by ava” y no “via ava”. No parece necesario volver a escribirlo en el cuerpo

    • Fue por la barrera del idioma. Todavía soy bastante nueva en esta comunidad y pensé que era mejor ser cautelosa. Gracias por decírmelo; lo tendré presente

  • Lo de curl da risa, y parece una clasificación incorrecta casi perfecta

    • Sí. La clave es que el mecanismo es muy simple. Aun así, ayuda que las señales marcadas se muestren de verdad
      No hace falta confiar ciegamente en el resultado de la herramienta; puedes ver por ti mismo “ah, esto es un falso positivo”. Incluso en proyectos que usaron IA antes pero ya no, saber “sí, esto es correcto, pero ese commit fue hace 2 años” agrega contexto para juzgarlo

  • Me entristece mucho ver a LibAFL en esta lista. No porque esté mal, sino porque no pude convencer a los co-maintainers de que no metieran slop en el codebase
    Esa es una gran razón por la que tengo menos ganas de arreglarlo

  • Falta la etiqueta de vibe coding

    • Para ser consistentes con otros posts sobre vibe coding, hace falta la etiqueta de vibe coding

  • Me preocupa que, si los proyectos dejan de revelar el uso de herramientas LLM para evitar que se los identifique fácilmente, detectarlo se vuelva mucho más difícil
    Para frenar la adopción, quizá sea más efectivo que avergonzar a la gente una página bien armada que explique con referencias por qué no se deberían usar herramientas LLM. Muchos maintainers probablemente han estado más expuestos a contenido pro-IA y pueden haber formado su visión en esa dirección sin ver el panorama completo

  • Un post algo relacionado de hace poco: https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
    También hay un sitio similar: https://slop-o-meter.dev/. Lo que me gusta especialmente de esa implementación no es solo el diseño divertido y juguetón, sino que permite ajustar a gusto los parámetros del algoritmo de puntuación. Tiene sentido, porque no se puede aplicar exactamente el mismo criterio a todos los repositorios. Irónicamente, la implementación en sí también es slop :/