5 puntos por GN⁺ 10 일 전 | 7 comentarios | Compartir por WhatsApp
  • El ecosistema de compraventa de estrellas en GitHub se ha formado a través de sitios web dedicados, plataformas de freelancers, redes de intercambio y canales privados, y un análisis de 2019 a 2024 identificó alrededor de 6 millones de estrellas falsas sospechosas distribuidas en 18,617 repositorios y unas 301,000 cuentas
  • En 2024 se dispararon las campañas de estrellas falsas, y se calculó que el 16.66% de los repositorios con 50 estrellas o más estuvo relacionado; además, las estrellas compradas realmente se usan para aparecer en GitHub Trending y para evadir los algoritmos de descubrimiento de la plataforma
  • La venta de estrellas falsas se comercializa en un rango de 0.03 a 0.90 dólares por estrella según la calidad de la cuenta y el método de entrega, y se ha expandido a una infraestructura que incluye herramientas para manipular el gráfico de contribuciones, venta de perfiles prefabricados, garantía de reposición e incluso API de compra
  • La cantidad de estrellas en GitHub está directamente vinculada como indicador para captar inversión y se usa como referencia en las etapas seed y Series A, por lo que la compra de estrellas a bajo costo forma un ciclo de retroalimentación que infla la percepción de traction y facilita el financiamiento
  • La proporción de estrellas frente a forks y la proporción de estrellas frente a watchers se plantean como filtro inicial para detectar manipulación; aunque las políticas de GitHub lo prohíben y existen reglas de la FTC, el control sobre cuentas sigue siendo menor que la eliminación de repositorios, por lo que una respuesta estructural aún no se ha implementado

6 millones de estrellas falsas

  • En el análisis StarScout de investigadores de Carnegie Mellon University, North Carolina State University y Socket, tras examinar 20 TB de metadatos de GitHub, 6,700 millones de eventos y 326 millones de estrellas entre 2019 y 2024, se identificaron alrededor de 6 millones de estrellas falsas sospechosas distribuidas en 18,617 repositorios y unas 301,000 cuentas
  • En 2024 aumentaron bruscamente las campañas de estrellas falsas, y hasta julio se calculó que el 16.66% de los repositorios con 50 estrellas o más estuvo relacionado
    • Antes de 2022, el nivel era casi cercano a cero
  • En la validación de precisión de detección también se confirmó que el 90.42% de los repositorios marcados por StarScout y el 57.07% de las cuentas habían sido eliminados hasta enero de 2025
    • Una cifra que respalda que GitHub también lo reconoció como actividad anómala
  • Entre los repositorios beneficiados por estrellas falsas, los relacionados con AI y LLM aparecieron como la mayor categoría no maliciosa, con un total de 177,000 estrellas falsas
    • Se cita que incluye muchos repositorios de artículos académicos o productos de startups relacionadas con LLM
  • 78 repositorios en los que se detectaron campañas de estrellas falsas aparecieron en GitHub Trending, lo que muestra que las estrellas compradas realmente se usan para evadir los algoritmos de descubrimiento de la plataforma
  • En una investigación de Dagster de marzo de 2023, los ingenieros compraron directamente estrellas a dos vendedores para comprobar el fenómeno
    • La empresa registrada en Alemania GitHub24 cobraba EUR 0.85 por estrella y las 100 estrellas seguían intactas incluso un mes después
    • Baddhi Shop vendía 1,000 estrellas por 64 dólares, pero su tasa de permanencia se presentaba en torno al 75%

Marketplace

  • El ecosistema de venta de estrellas de GitHub se ha formado a través de sitios web dedicados, plataformas de freelancers, redes de intercambio y canales privados, y al menos 12 sitios web activos o más venden directamente estrellas de GitHub
    • Se enumeran como ejemplos SocialPlug.io, Buy.fans, Boost-Like.store, GitHubPromoter.com, Followdeh.com y Vurike.com
  • Los rangos de precios se distinguen según la calidad de la cuenta y el método de entrega
    • La gama económica va de 0.03 a 0.10 dólares por estrella, se entrega en pocos días y usa perfiles nuevos o vacíos
    • La gama intermedia va de 0.20 a 0.50 dólares, con entrega en 1 a 2 semanas e incluye cierto historial de actividad
    • La gama premium va de 0.80 a 0.90 dólares, promete una entrega gradual y natural, e incluye cuentas de varios años con repositorios e historial de contribuciones
  • En Fiverr también hay 24 gigs activos que venden promoción en GitHub; las estrellas y forks básicos cuestan 5 dólares, mientras que la "organic promotion" se fija en 25 dólares o más
    • Usan expresiones ambiguas o indirectas para evitar los filtros de la plataforma
  • También están en operación plataformas de intercambio de estrellas como GithubStarMate.com y SafeStarExchange.com, que ofrecen un sistema recíproco basado en créditos
  • La infraestructura no se limita a la venta de estrellas, sino que se extiende hasta la manipulación del gráfico de contribuciones de GitHub
    • Existen al menos 7 herramientas open source como fake-git-history, commit-bot y Commiter orientadas a falsificar el historial de contribuciones en GitHub
    • En Telegram se venden perfiles prefabricados de GitHub con 5 años de historial de commits y la insignia Arctic Code Vault Contributor por alrededor de 5,000 dólares
  • Algunos vendedores incluso ofrecen garantía de reposición
    • Followdeh anuncia una garantía de 30 días
    • Los servicios premium prometen estrellas "non-drop" que pasan la detección de GitHub
    • SocialPlug afirma haber entregado 3.1 millones de estrellas a más de 53,000 clientes y también ofrece una API de compra
  • En una investigación de Tsinghua University presentada en ACSAC 2020 se documentó la estructura comercial de grupos de promoción en QQ y WeChat en China
    • Más de 1,020 miembros procesaban alrededor de 20 repositorios al día
    • Se estimó que las ganancias de los promotores eran de 3.4 a 4.4 millones de dólares al año

Análisis propio: características de los stargazers falsos

  • Se creó una herramienta de análisis basada en la API de GitHub para investigar 20 repositorios, comparando repositorios marcados por StarScout, repositorios de IA de alto crecimiento del Runa Capital ROSS Index y repositorios orgánicos de referencia
  • En cada repositorio se muestrearon 150 perfiles de stargazers para medir la antigüedad de la cuenta, la cantidad de repositorios públicos, el número de seguidores y la presencia de biografía
  • Los indicios de manipulación aparecen repetidamente en varios indicadores comunes
    • Incluso cuando las cuentas no son muy nuevas, la proporción de cuentas vacías es alta
    • La relación estrellas/forks y la relación estrellas/watchers son mucho más bajas que en los repositorios orgánicos
  • Referencia orgánica

    • La antigüedad mediana de las cuentas en Flask, LangChain y AutoGPT se presenta como 4801 días, 2967 días y 4022 días, respectivamente, lo que muestra que muchos stargazers son desarrolladores que han usado GitHub durante largo tiempo
    • La proporción de cuentas sin ningún repositorio público está en 5.3%, 5.9% y 2.0%, y la proporción con 0 seguidores también es baja: 10.0%, 11.8% y 5.9%
    • La proporción de cuentas fantasma en Flask es 1.3%, y la de suspicious accounts en Flask, LangChain y AutoGPT se presenta como 0.0%
    • La relación estrellas/forks es 0.235 para Flask, 0.155 para LangChain y 0.090 para AutoGPT, lo que indica que existe cierto nivel de uso y modificación real del código
    • La relación estrellas/watchers es 0.029 para Flask, 0.006 para LangChain y 0.005 para AutoGPT
    • Los stargazers de los repositorios orgánicos han estado activos durante años, tienen proyectos propios y muestran rasgos de desarrolladores que siguen a otros usuarios
    • Las cuentas fantasma con 0 repositorios, 0 seguidores y sin biografía se sitúan alrededor del 1% en proyectos saludables
  • Repositorios blockchain manipulados

    • La antigüedad mediana de las cuentas en Union Labs, Shardeum, FreeDomain y Anoma está en el rango de 997 a 1180 días, suficiente para pasar filtros simples de cuentas nuevas
    • Sin embargo, por dentro las cuentas están vacías: la proporción con 0 repositorios públicos va de 28.0% a 38.0%, la de cuentas con 0 seguidores va de 52.0% a 81.3%, y la de cuentas fantasma va de 19.3% a 28.7%
    • La relación estrellas/forks se presenta como 0.052 para Union Labs, 0.022 para Shardeum, 0.017 para FreeDomain y 0.121 para Anoma
    • La relación estrellas/watchers también es muy baja, con casos como 0.001 en FreeDomain
    • Esto se interpreta como un patrón en el que se compraron cuentas antiguas o se reunieron de forma masiva para usarlas en campañas de estrellas
    • La relación estrellas/forks se presenta como la señal más fuerte
      • Flask tiene 235 forks por cada 1000 estrellas
      • Shardeum tiene 22
      • FreeDomain tiene 17
    • La relación estrellas/watchers apunta en la misma dirección, y el 0.001 de FreeDomain significa que por cada 1000 estrellas hay apenas 1 usuario siguiendo las actualizaciones reales
  • FreeDomain

    • Tiene 157,000 estrellas, pero se reportan 168 watchers y 2676 forks
    • Su relación estrellas/watchers es 26 veces menor que la de Flask
    • Entre los stargazers muestreados, 81.3% tiene 0 seguidores, lo que revela una composición de cuentas casi sin base visible de actividad dentro de GitHub
  • Union Labs

    • Fue elegido número 1 del Runa Capital ROSS Index en el segundo trimestre de 2025, con un crecimiento de estrellas de 54.2 veces y 74,300 estrellas
    • En el análisis propio se confirmó que 32.7% de las cuentas tenía 0 repositorios públicos, 52% tenía 0 seguidores y la relación estrellas/forks era 0.052
    • En el análisis de StarScout apareció marcado con 47.4% de estrellas falsas sospechosas
    • Esto muestra una estructura en la que un proyecto con casi la mitad de sus estrellas potencialmente artificiales termina en la parte más alta de un influyente informe de descubrimiento de inversiones que consultan los VC
  • Sector de IA

    • Al comparar RagaAI, openai-fm, Langflow y hermes-agent, se observan grandes variaciones en los indicadores incluso dentro de los repositorios de IA
    • RagaAI-Catalyst registró 76.2% de cuentas con 0 seguidores y 28.0% de cuentas fantasma, cifras casi idénticas al patrón blockchain
    • openai-fm se presenta como el caso más extremo de todo el conjunto de datos
      • suspicious accounts 66.0%
      • cuentas fantasma 36.0%
      • antigüedad mediana de la cuenta 116 días
      • dos tercios de los stargazers tienen menos de un año y casi ninguna actividad en GitHub
      • StarScout menciona que en este caso es más probable que se trate de bots de terceros y no de OpenAI en sí
    • Langflow fue marcado por StarScout con 47.9% de falsedad, pero en el análisis de muestra de perfiles mostró cifras relativamente limpias, con una antigüedad mediana de 2859 días y una baja proporción de cuentas fantasma
      • Se plantea la posibilidad de que la calidad de las cuentas haya mejorado después del escaneo de StarScout
      • Aun así, su relación estrellas/forks de 0.060 sigue siendo baja, alrededor de una cuarta parte de la de Flask
    • hermes-agent de NousResearch se clasifica como un repositorio relativamente orgánico
      • antigüedad mediana de la cuenta: 8 años
      • cuentas fantasma: 6%
      • relación estrellas/forks: 0.133
      • aparte de las acusaciones de astroturfing en Reddit, se analizó que muchos de sus stargazers son desarrolladores reales
      • debido a una base de usuarios cercana al mundo cripto, la proporción de cuentas con 0 seguidores es algo más alta, pero el patrón básico de participación se considera legítimo

Cómo las estrellas se convierten en financiamiento

  • Se presenta la conexión entre el número de estrellas en GitHub y el financiamiento de startups no como una especulación, sino como una relación documentada por los propios inversionistas
  • Jordan Segall, de Redpoint Ventures, analizó 80 empresas de herramientas para desarrolladores y encontró que la mediana de estrellas en inversión semilla era 2850, y en Series A era 4980
    • También mencionó directamente que muchos VC operan programas internos de scraping para encontrar proyectos de GitHub con crecimiento acelerado, y que la métrica que más suelen revisar son las estrellas
  • Estas cifras dan a las startups un objetivo de compra de facto
    • Con estrellas baratas, entre 85 y 285 dólares bastarían para manipular la mediana semilla de 2850
    • Con 990 a 4500 dólares sería posible acercarse al rango de Series A
    • Tomando como referencia una ronda semilla típica de 1 a 10 millones de dólares, se calcula un ROI de entre 3500x y 117,000x
  • Runa Capital publica cada trimestre el ROSS Index, que clasifica a las 20 principales startups open source según la tasa de crecimiento de estrellas en GitHub
    • Según TechCrunch, 68% de las startups financiadas estaban en etapa semilla, y el total de rondas rastreadas sumó 169 millones de dólares
  • GitHub también invierte 10 millones de dólares al año a través de GitHub Fund, en colaboración con M12, y toma en cuenta en parte la tracción en la plataforma para invertir en 8 a 10 empresas open source en etapa pre-semilla y semilla
  • Se enumeran varios casos en los que las estrellas derivaron en financiamiento
    • Lovable: más de 50,000 estrellas, pre-semilla de 7.5 millones de dólares y una Series A de 200 millones de dólares con una valuación de 1,800 millones de dólares con una plantilla de 45 empleados
    • Pangolin**: 1000 estrellas en enero de 2025, aceptación en Y Combinator, y para agosto de 2025** una ronda semilla de 4.7 millones de dólares

    • Browser-use**: 50,000 estrellas en 3 meses, Y Combinator W25,** ronda semilla de 17 millones de dólares

      • LangChain: inversión semilla de 10 millones de dólares por parte de Benchmark
      • Fraser Marlow, de Dagster, también mencionó directamente que prestó mucha atención a las estrellas de GitHub justo antes de levantar capital
      • Un artículo de Organization Science presenta estadísticamente la correlación entre la actividad en GitHub y los resultados de financiamiento de startups
      • Las startups activas en GitHub tenían una probabilidad 15 puntos porcentuales mayor de haber conseguido una ronda de inversión
      • Como resultado, se forma un ciclo de refuerzo: seguimiento de estrellas por parte de los VC → manipulación por parte de las startups → percepción inflada de tracción → mayor adopción por más VC → más manipulación
      • Los umbrales públicos de Redpoint revelan una estructura que ofrece a las startups metas numéricas exactas

Proporción de forks frente a estrellas: una heurística simple de detección

  • En el análisis propio, la proporción de forks frente a estrellas apareció como el indicador simple más sólido para identificar posible manipulación
  • La lógica es simple
    • Las estrellas se pueden dar sin costo y no implican un compromiso real
    • Los forks implican que alguien descargó el código para usarlo o modificarlo
  • Los promedios por categoría de la proporción de forks frente a estrellas se presentan así
    • 3 repositorios de línea base orgánica: 0.160
    • 5 repositorios de herramientas de IA: 0.124
    • 4 repositorios del grupo de blockchain sospechoso de manipulación: 0.053
    • 2 repositorios de casos extremos: 0.020
  • Se propone como criterio que los repositorios con más de 10 mil estrellas y una proporción de forks frente a estrellas menor a 0.05 requieren una revisión minuciosa
  • La proporción de watchers frente a estrellas se presenta como una señal complementaria más intuitiva
    • Los proyectos orgánicos promedian entre 0.005 y 0.030
    • FreeDomain tiene 0.001
  • Esta proporción no es un criterio de clasificación perfecto; los repositorios educativos o las listas curadas pueden tener naturalmente una tasa baja de forks
  • Aun así, se evalúa como útil para detectar en un primer filtro los casos más graves que las cifras brutas de estrellas por sí solas no permiten ver

Popularidad falsa fuera de GitHub

  • El mismo fenómeno se extiende a todas las plataformas donde las métricas de popularidad influyen en la confianza
  • Las descargas de npm se pueden inflar con mucha facilidad
    • Andy Richardson llevó el paquete is-introspection-query a casi 1 millón de descargas por semana usando solo el nivel gratuito de una única función de AWS Lambda
    • Era una cifra mayor que la de paquetes legítimos como urql y mobx, pero se presenta que los usuarios reales eran 0
    • En una investigación de CMU, solo el 1.23% de los repositorios con campañas de estrellas falsas aparecía en registros de paquetes, pero entre esos 738 paquetes, el 70.46% tenía 0 proyectos dependientes
  • Las extensiones de VS Code Marketplace muestran la misma vulnerabilidad
    • Investigadores demostraron más de 1000 instalaciones falsas de extensiones en 48 horas
    • AquaSec encontró 1283 extensiones con dependencias maliciosas conocidas, con un total de 229 millones de instalaciones
  • La promoción en X/Twitter amplifica la viralidad artificial en GitHub
    • En grupos privados llamados engagement pods, los miembros intercambian likes, reposts y comentarios entre sí
    • Growth Terminal vende esto como una función del producto
    • NBC News y un equipo de investigación de Clemson University identificaron una red de 686 cuentas de X que publicó más de 130 mil veces con contenido generado por LLM
    • Algunas publicaciones incluían expresiones como "Dolphin here!", rastro del modelo usado
  • En el caso de Higgsfield AI, se documentó a gran escala el astroturfing entre plataformas
    • Más de 100 publicaciones de spam en más de 60 subreddits
    • Combinadas con el envío masivo de mensajes directos tipo plantilla que ofrecían pago a creadores de contenido por promoción

La exposición legal de la que casi no se habla

  • La FTC Consumer Review Rule entra en vigor el 21 de octubre de 2024 y prohíbe explícitamente la compra o venta de "métricas falsas de influencia en redes sociales" basadas en bots o cuentas falsas con fines comerciales
  • Las sanciones por infracción se presentan como de hasta 53,088 dólares por caso
  • La FTC envió sus primeras cartas de advertencia a 10 empresas en diciembre de 2025, y se indica que la compra de estrellas de GitHub para promocionar productos comerciales encaja dentro de este marco
  • Los precedentes de la SEC también se presentan como casos más directos
    • El CEO de HeadSpin fue acusado de fraude electrónico y fraude de valores por inflar métricas para obtener 80 millones de dólares de inversionistas
    • El fundador de ComplYant enfrenta cargos por haber afirmado que tenía ingresos mensuales de 250 mil dólares cuando en realidad eran 250 dólares
  • La SEC transmite el mensaje de que los recaudadores de fondos de startups no pueden usar la cultura de "fake it until you make it" para engañar a inversionistas
  • Si una startup infla su traction con estrellas falsas de GitHub durante una ronda de financiamiento y un inversionista aporta capital basándose en esa métrica, se vincula la posibilidad de aplicar el marco de fraude electrónico por tergiversación de un hecho material mediante comunicaciones electrónicas
  • Aún no hay casos judiciales solo por estrellas falsas de GitHub, pero se plantea que, considerando la evidencia empírica a gran escala del estudio de CMU y la prohibición explícita de la norma de la FTC, podría ser solo cuestión de tiempo

La respuesta de GitHub

  • Las Acceptable Use Policies de GitHub prohíben explícitamente las interacciones no auténticas, las cuentas falsas y la actividad automatizada no auténtica, el abuso de ranking como las estrellas o follows automáticos, y la participación en mercados secundarios para expandir actividad no auténtica
  • Las estrellas incentivadas por recompensas como airdrops de criptomonedas, tokens, créditos o regalos también están incluidas como prohibidas por la política
  • La aplicación se evalúa como reactiva y asimétrica
    • De los repositorios marcados por StarScout, se eliminó el 90.42%, pero de las cuentas que proporcionaron esas estrellas, solo se eliminó el 57.07%
    • Sigue quedando una parte importante de la infraestructura de cuentas que puede usarse en campañas futuras
  • En la investigación de Dagster también se eliminaron los perfiles de estrellas falsas en 48 horas, pero se presenta como una reacción posterior a la exposición pública, no como un caso de detección preventiva
  • GitHub nunca ha publicado una entrada de blog de ingeniería sobre cómo detecta la manipulación de estrellas o sus estadísticas de aplicación, y tampoco existe un informe de transparencia separado
  • El vicepresidente de operaciones de seguridad de GitHub solo respondió a Wired que desactivaron cuentas conforme a sus políticas y rechazó dar más explicaciones
    • Sin embargo, se aclara que esa declaración era un comentario sobre la operación de malware Stargazers Ghost Network, no sobre la manipulación de vanity metrics
  • Investigadores de CMU recomiendan introducir una métrica de popularidad ponderada basada en centralidad de red, en lugar del conteo bruto de estrellas
    • Se presenta como un cambio que podría debilitar estructuralmente la economía de las estrellas falsas
  • GitHub todavía no implementa esta recomendación

Qué métricas deberían mirar los VC en su lugar

  • Bessemer Venture Partners llama a las estrellas vanity metrics y en su lugar sigue la actividad mensual de contribuidores únicos
    • Incluye a quienes crean issues, comentan, hacen PR y realizan commits
    • Entre los 10 mil proyectos principales, menos del 5% superó los 250 contribuidores mensuales
    • Solo el 2% logró mantenerlo durante 6 meses seguidos
  • Jono Bacon, de StateShift, recomienda 5 métricas con correlación con adopción real
    • Número de descargas del paquete
    • Calidad de los issues, donde salen a la luz edge cases de producción de usuarios reales
    • Retención de contribuidores, medida por el tiempo hasta el segundo PR
    • Profundidad de la discusión en la comunidad
    • Telemetría de uso
  • La proporción de forks frente a estrellas identificada en el análisis propio se presenta como el filtro inicial más simple
    • Los proyectos saludables tienen aproximadamente entre 100 y 200 forks por cada 1000 estrellas
    • Si el valor absoluto de estrellas es alto pero hay menos de 50 forks por cada 1000 estrellas, hace falta una revisión adicional
  • Como cita, se presenta la frase: "Puedes falsear el número de estrellas, pero no puedes falsear un bug fix que le salvó el fin de semana a alguien"

Problemas estructurales

  • Se plantean tres dinámicas para explicar por qué la economía de estrellas falsas se autorrefuerza
  • Bucle de incentivos

    • Los VC usan las estrellas como señal para identificar oportunidades
    • Las startups manipulan las estrellas
    • Los VC verifican una tracción inflada
    • Más VC adoptan el seguimiento de estrellas
    • Se forma una estructura cíclica en la que más startups se lanzan a manipular
    • El benchmark público de Redpoint, 2,850 en seed y 4,980 en Series A, en la práctica funciona como una tabla de cantidades a comprar
  • Vulnerabilidad del sector de IA

    • La combinación de una euforia excesiva, una estructura de financiamiento cercana a las criptomonedas que recompensa el precio del token por encima de la calidad del producto, y un ecosistema de reseñadores en X/Twitter mezclado con personas ficticias manipuladas crea un entorno favorable para la confianza fabricada
    • En el propio análisis también se identificó que muchos de los repositorios con peores señales de manipulación eran proyectos de IA vinculados a blockchain y al entorno cripto
  • Asimetría en la aplicación de GitHub

    • Una estructura que elimina repositorios pero deja intacto el 57% de las cuentas falsas preserva la fuerza laboral de la economía de estrellas falsas
    • La capacidad de disuasión contra infracciones repetidas es débil
    • Se concluye que, a menos que GitHub introduzca cambios estructurales como métricas de popularidad ponderadas, puntajes de reputación a nivel de cuenta e informes transparentes de aplicación, la brecha entre el número de estrellas y la adopción real por parte de desarrolladores seguirá ampliándose
    • La economía de estrellas falsas se resume como una estructura en la que un problema de 50 dólares produce un resultado de 50 millones de dólares
    • Cierra con la idea de que, hasta que la plataforma, los inversionistas y los reguladores logren ponerse al día, el mercado seguirá pagando esos 50 dólares

7 comentarios

 
pdpatgtpmdt2843 9 일 전

Los estafadores de oh-my-claudecode y claw-code, jajaja

 
savvykang 9 일 전

Vaya, resulta que SKT era una empresa bastante avanzada.

 
guarder 8 일 전

Yo también recordé este caso. Ya pasaron 7 años.

 
ndrgrd 10 일 전

En lo personal, tomo las estrellas como un mínimo de referencia, pero no las uso por sí solas como criterio para juzgar algo.
A un proyecto que no llega ni a 100 estrellas sí lo miraría con más sospecha, pero tampoco confiaría automáticamente en uno solo porque supera las 50 mil estrellas.

 
shakespeares 9 일 전

Es la actitud correcta.

 
edunga1 9 일 전

Está bien abordarlo con base en los stargazers.
Últimamente hay muchos repositorios para los que ni siquiera 10 mil o 100 mil dan confianza, así que ojalá GitHub responda rápido.

 
GN⁺ 10 일 전
Opiniones de Hacker News
  • No logro entender cómo los VC toman decisiones reales de inversión con puntajes imaginarios de internet como los GitHub stars. Me suena como si un equipo de la NFL eligiera a su quarterback por la cantidad de seguidores en Instagram en vez de su porcentaje de pases completos. Incluso viendo el historial de los Cleveland Browns, parece más un chiste que una estrategia seria para ganar campeonatos. Me hace preguntarme si esto es flojera de los VC o un efecto secundario de un entorno como ZIRP, donde había demasiado dinero circulando. Si alguien me dijera que va a manejar mi dinero con base en stars, primero me reiría y luego pondría cara seria
  • Casi nunca he mirado los stars al elegir una librería, y ni siquiera entiendo por qué alguien lo haría. Yo veo la fecha de los commits recientes, la antigüedad del proyecto, cómo manejan los issues y algo de la calidad del código. Al final, los stars son solo un resultado indirecto de esas métricas reales o simple fraude, así que no significan mucho si no revisas por tu cuenta. Desde hace tiempo los veía solo como un "marcador para volver luego", y me sorprendió ver que se disfrazaran de métrica de calidad. Ojalá la FTC actuara con fuerza contra estas prácticas. Incluso con solo hojear el historial de commits ya puedes ver el tipo de cambios y la cadencia, y eso resulta bastante útil
    • En el sentido de que al final la gente se siente atraída por adornos brillantes, la comparación encaja perfecto con la frase de Napoleon sobre cómo la gloria, las medallas y las recompensas mueven a las personas
    • Aunque yo personalmente no mire los stars, sigue siendo un problema si la gente que crea las dependencias que uso sí se deja influir por ese número
  • Cuando veo artículos como este, parece que todo se resolvería ajustando un problema puntual, pero desde mi punto de vista el sistema completo está mucho más roto. La clave es que la señal misma se convirtió en producto. Si creas un SaaS, enseguida aparecen periodistas ofreciéndose a ponerte en listas de "Top app del año" a cambio de dinero, vendedores prometiendo inflarte los seguidores en redes y reclutadores que supuestamente te conseguirán expertos de nicho, pero al final solo hacen scraping de LinkedIn y mandan spam. En contratación, incluso he visto candidatos sentados en granjas de entrevistas en Asia oriental, conectándose con IP de Washington D.C., usando nombres europeos, fondos sintéticos y fingiendo dominar todas las tecnologías del anuncio. En cuanto surge una métrica importante, aparece todo un ecosistema para manipularla, y esa manipulación termina volviéndose simplemente parte de operar un negocio
    • Al final, todo converge en ganar más dinero
    • Al final del día, se trata de si una empresa decide comprar o no métricas vacías. Nosotros también intentamos recientemente dificultar más la actividad de bots de IA en nuestros repositorios, y esperamos que esos bots se desvíen hacia startups que buscan objetivos relativamente fáciles, como en este texto
  • Administro un sitio pequeño y definí con más claridad un estándar informal ya existente, además de publicar en la página principal una lista de software y librerías que lo siguen. Al principio aceptaba casi todo, pero cuando la lista creció sentí que hacía falta un criterio de notoriedad. Al rechazar una librería con apenas unos días de vida, casi seguro generada por IA y de baja calidad, mencioné también como preocupación que tuviera "0 stars", y el autor me reclamó agresivamente cuántos necesitaba. No respondí. Los stars son solo un factor a considerar, no lo son todo. Lo que hace falta es tener usuarios reales y un reconocimiento auténtico. Después, otros desarrolladores se metieron en la conversación para decirme que en vez de criterios ambiguos fijara un corte por stars, pero deliberadamente no lo hago. En el momento en que un número se convierte en objetivo, deja de servir como métrica. Tampoco quiero hacer crecer esa página sin límite, y si solo incluyera proyectos con más de X stars, hasta malware podría terminar listado. Sobre todo, a quién incluyo en mi página lo decido yo, así que agradecería que no fueran groseros
  • Cuando ves la estructura en la que los VC tratan la popularidad en GitHub como evidencia de traction, da la impresión de que el gran capital otra vez arruina todo. Aquí también aplica tal cual la ley de Goodhart. Cuando quiero evaluar rápido la calidad de un repositorio, miro el estado del mantenimiento, la antigüedad del proyecto, la elegancia de la API y el historial de commits. Como decía el artículo, métricas como la actividad mensual de contribuidores únicos, descargas del paquete, la calidad de los issues que parecen venir de usuarios reales, la retención hasta el segundo PR, la profundidad de las discusiones de la comunidad y la telemetría de uso se sienten mucho más cercanas al uso real
    • Yo al final simplemente leo el código. Me parece lo más directo
  • Mucha gente parece esperar que los stars sean un indicador barato y rápido de "software confiable, de buena calidad y visto por mucha gente". Pero para mí fracasan por completo como proxy. Incluso dejando de lado el astroturfing, los stars no garantizan ni popularidad ni calidad. Apostaría a que varias librerías básicas del sistema tienen pocos stars. Si puedes leer el código, depender de los stars se siente inútil. Por eso yo me salto los stars y reviso el repositorio para evaluar directamente la arquitectura y la implementación, y al hacerlo me ha pasado muchas veces que alternativas con pocos stars me parecen mejores
    • Si hay 3 alternativas y cada una tiene 100 mil LOC, decir leamos el código no es tan fácil en la práctica. Al final sí necesitas indicadores indirectos. Los stars no son confiables, así que no ayudan mucho, pero recomendaciones o referrals son mejores. Aun así, en áreas donde mi red no tiene conocimiento, la realidad es que termino usando incluso proxies débiles como los stars
    • Antes la página de issues servía bastante bien para ver rastros de uso real, porque mostraba qué problemas estaba teniendo la gente. A veces todavía sirve, pero ahora está mucho peor por la cantidad de basura generada por agentes
  • Me pregunto si GitHub no podría usar, en vez de stars crudos, un puntaje basado en grafos al estilo PageRank. Sería un sistema donde un repositorio recibe más puntaje si usuarios que mantienen repositorios importantes le dan stars o lo forkean. Costaría más calcularlo, pero salvo que se me esté escapando algo, parece que daría resultados mucho más confiables que ahora
    • Ese enfoque sí parece acercarse más a un mejor resultado. Aun así, si metes a todos los usuarios en la matriz, creo que todavía habría posibilidad de manipulación. Preferiría usar un conjunto limitado, como peers de confianza o amigos de amigos, o bien señales posteriores en vez de un esquema simple basado en likes
  • Lo que realmente me intriga es por qué los VC consideran confiable el sistema de stars. A menudo quien da star a un proyecto luego se olvida de él, así que incluso proyectos viejos y abandonados pueden acumular muchos stars. No será lo ideal, pero aun así me parece mejor mirar qué tan vivos están los issues, si se abren y se cierran, si no se cierran de forma automática y qué tan rápido responden. Mi proyecto tiene 200 stars, pero mantener actualizaciones significativas de forma constante, más allá de simples bumps de versión, cuesta muchísimo trabajo
    • Los stars son el caso típico de una métrica convertida en objetivo, y por eso dejaron de ser una buena medida. Y en la era de los LLM, siento que otras métricas, como la actividad de issues, también se pueden manipular fácilmente abriendo, cerrando y respondiendo en masa
    • Lo de que los VC exigen miles de stars puede ser una visión demasiado amplia del asunto. En la práctica, creo que es más común que alguien pague 20 dólares para hacer que su proyecto se vea decente y usarlo en su CV o por vanidad, conseguir más clics en Reddit o destacar frente a otros proyectos open source. Si alguien invierte solo porque ve 8 mil o 10 mil stars, sin mirar el proyecto ni su potencial de ingresos, me parecería un inversionista ignorante o alguien que apenas elige un proyecto estudiantil cada verano. Las cuentas falsas también le ponen stars a repositorios viejos míos para parecer usuarios reales, y como suelen dar star a 5 mil proyectos al mes sin hacer nada más, se notan rápido. Antes también vi anillos de GitHub Sponsor, y olían bastante a lavado de dinero o tarjetas robadas
    • Yo busco señales de calidad de software a largo plazo, mientras que un VC busca señales de momentum de corto plazo. Muy seguido esas dos cosas chocan entre sí
    • Aquí también podría funcionar hasta cierto punto un puntaje de grafo parecido a pagerank. Si se diera más puntaje a los repositorios con muchos issues dejados por usuarios de buena reputación, podría resistir un poco mejor la manipulación simple
    • A menos que algo haya cambiado mucho en los últimos 3 años, siento que este artículo exagera un poco cuánto confían los VC en los stars. Cuando hablé con VC hace 10 años, la mayoría ya los veía como una métrica de vanidad y los descartaba
  • Creo que GitHub podría combatir esto muy fácilmente. Bastaría con gastar 10 dólares con cada vendedor de stars, comprarles directamente y suspender todas las cuentas involucradas. Con muy poco dinero podrían meterle bastante fricción a todo este ecosistema
  • Como material relacionado, vale la pena revisar el post de Dagster de 2023, "Tracking the Fake GitHub Star Black Market with Dagster, dbt and BigQuery", y el paper de arXiv, "Six Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Spams, and Malware"