La caída de Stack Overflow

 (observablehq.com)
1 puntos por GN⁺ 2023-07-25 | 1 comentarios | Compartir por WhatsApp
  • Notebook de datos de Observable que rastrea con datos de series temporales el fenómeno de una caída de aproximadamente 35% en el tráfico de Stack Overflow durante el último año y medio; la fuente de datos es stackoverflow.com/site-analytics
  • Al principio se midió una caída de cerca del 50%, pero alrededor de 15% de la pérdida observada parece estar relacionada con la reclasificación de cookies de Google Analytics alrededor de mayo de 2022, por lo que el gráfico se modificó para incluir solo los datos posteriores a ese cambio
  • La caída del tráfico también se refleja de la misma manera en una reducción de aproximadamente 50% en la cantidad de preguntas y respuestas, así como en una disminución en la cantidad de votos que reciben las publicaciones
  • Los gráficos expresan el uso como un promedio móvil de 49 días; el rango del conjunto de datos va de 2008-07-31 a 2023-07-23
  • El cuerpo está compuesto por numerosas celdas de gráficos; en el texto proporcionado los gráficos no se renderizan y solo se pueden revisar los valores de las tablas sin procesar de los tres conjuntos de datos: traffic / posts / votes

Resumen de los cambios clave

  • Durante el último año y medio, Stack Overflow registró una caída de aproximadamente 35% en el tráfico
    • La medición inicial era de cerca del 50%, pero fue corregida
    • Cerca del 15% de la pérdida observada parece estar relacionada con la reclasificación de cookies de Google Analytics alrededor de mayo de 2022 (un cambio por el cual se definen y almacenan como strictly necessary)
    • El gráfico se actualizó para incluir solo datos posteriores a ese cambio
  • La disminución del tráfico también se refleja de la misma manera en los indicadores de uso del sitio
    • Reducción de aproximadamente 50% en la cantidad de preguntas y respuestas
    • También cayó la cantidad de votos que reciben esas publicaciones
  • El uso en los gráficos se expresa como un promedio móvil de 49 días
  • La fuente de datos es stackoverflow.com/site-analytics

Datos de tráfico (traffic)

  • Conjunto de datos traffic_2008Jul31_2023Jul23, con 418 filas
  • Compuesto por fecha y tres indicadores enteros; el rango de valores es aproximadamente 3M–22M / 1.5M–9.5M / 120k–520k
  • El tramo mostrado contiene cifras diarias que comienzan el 2022-06-01
    • 2022-06-01 → 18,524,758 / 7,945,523 / 351,184
    • 2022-06-14 → 20,002,931 / 8,485,223 / 390,082
    • Algunas fechas, como 2022-06-04, registran valores de alrededor de 6,346,105, más bajos que los de días entre semana

Datos de publicaciones (posts)

  • Conjunto de datos posts_2008Jul31_2023Jul23, con 1,992 filas
  • Fecha y tres columnas enteras; el rango de valores es aproximadamente 4k–23k / 2k–12k / 1.5k–12k
  • El tramo mostrado contiene cifras diarias que comienzan el 2018-02-08
    • 2018-02-08 → 21,397 / 10,148 / 11,249
    • 2018-02-22 → 21,631 / 10,356 / 11,275

Datos de votos (votes)

  • Conjunto de datos votes_2008Jul31_2023Jul23, con 1,991 filas
  • Fecha y cuatro columnas enteras; el rango de valores es aproximadamente 400–3,600 / 10k–75k / 10k–65k / 2,000–9,500
  • El tramo mostrado contiene cifras diarias que comienzan el 2018-02-08
    • 2018-02-08 → 3,347 / 65,834 / 57,278 / 8,556
    • 2018-02-21 → 3,206 / 66,063 / 57,693 / 8,370

Lecturas relacionadas

1 comentarios

 
GN⁺ 2023-07-25
Opiniones en Hacker News

  • Estas cifras muestran una caída brusca y permanente del tráfico durante algunos días de mayo de 2022. Las nuevas visitas diarias bajaron de alrededor de 1 millón a 300 mil; el total diario de pageviews, de unos 20 millones a 14 millones; y las sesiones diarias, de unos 9.4 millones a 6.1 millones.
    Sin embargo, en ese mismo período no hubo una caída equivalente en la cantidad de publicaciones ni de votos, y ambos se mantuvieron relativamente estables, salvo por variaciones estacionales, hasta desplomarse en febrero de 2023. Como los datos de tráfico provienen de Google Analytics y los datos de publicaciones/votos de cálculos internos de StackOverflow, parece posible que la caída de mayo de 2022 haya sido un artefacto de medición causado por un cambio repentino en la forma en que Google Analytics rastreaba el tráfico/los visitantes.
    https://i.imgur.com/qMj7Lge.png
    https://news.ycombinator.com/item?id=36856249

    • Si miras los comentarios de esta respuesta https://meta.stackexchange.com/a/391625/136010, parece que el personal también estuvo de acuerdo con la explicación de que el cambio de mayo de 2022 se debió al despliegue de un formulario adecuado de consentimiento de cookies. Sin cookies de rendimiento, SO no puede generar correctamente datos de analítica.
      La empleada Catija también respondió: “Entre abril y mayo de 2022, la cifra de ‘tráfico’ bajó en 40 millones por semana, y en ese momento cambió el rastreo con cookies. Después volvió a la normalidad para diciembre. Antes del cambio de cookies, el tráfico era de alrededor de 140 a 150 millones por semana. Pero sabemos esto y lo hemos estado ‘corrigiendo’”.
    • Una caída así normalmente se debe a la forma de rastrear bots, a un cambio en el algoritmo de Google o a un cambio interno importante de diseño.
    • Tiene sentido. Las “nuevas visitas” son usuarios que llegan por primera vez, probablemente desarrolladores jóvenes que buscan una respuesta desde un buscador. Son personas que encuentran lo que quieren en Stack Overflow, quizá hacen clic en un anuncio y luego simplemente se van.
      Es poco probable que voten o publiquen mucho, así que una caída repentina podría significar que pasó algo muy malo con el tráfico de búsqueda orgánica. Cosas como un cambio de Google, una nueva estrategia espantosa de optimización para motores de búsqueda o dejar de comprar anuncios. La proporción de contenido nuevo venía bajando desde hace mucho a un ritmo sombríamente constante, pero los primeros meses de 2023 fueron especialmente graves.
    • O puede que algún sitio que scrapeaba StackOverflow les haya quitado a los usuarios que solo buscaban soluciones rápidas, mientras que quienes tenían cuenta en SO seguían publicando y votando.
    • Ese mes pudo haber sido el pico de adopción de GitHub Copilot. Si no recuerdo mal, la extensión de VS Code salió a fines de marzo.

  • En SO, cuando se trataba de preguntas que todavía no existían, lo que más me ayudó fue precisamente su rigurosidad. En el proceso de escribir una pregunta de alta calidad, con un ejemplo mínimo reproducible, un razonamiento claro y lo que ya había intentado, la mayoría de las veces terminaba resolviéndolo por mi cuenta antes de publicar.

  • Mi cuenta de SO tiene casi 12 años y mi reputación es de poco más de 2 mil, pero no me importa demasiado. Todavía respondo hasta cierto punto preguntas básicas en etiquetas de desarrollo móvil, y mi única queja con SO es la hostilidad de algunos moderadores con mucha reputación.
    Algunas personas parecen divertirse con eso, y se olvidaron de que la reputación no significa expertise. En 12 años no han logrado resolver este problema. Todos los días veía a usuarios nuevos publicar preguntas totalmente válidas y luego no volver a responder. Antes se daban upvotes con generosidad incluso a preguntas simples y básicas, pero ya no.

    • Con el aumento de las notificaciones push, parece que la gente ya no entra directamente al sitio para revisar alertas. Es posible que los usuarios nuevos nunca hayan formado el hábito de volver a SO y participar.
      El declive de los foros también parece estar relacionado con esto. Reddit sigue funcionando porque su app manda 200 notificaciones al día; sin eso, no sería tan popular como ahora. SO es hostil para participar si no eres experto, así que, desde el punto de vista de un principiante, no hay mucho que hacer salvo preguntar o lurkear. Se siente como si uno no estuviera calificado.
    • Da risa que gente con mucha reputación crea que es jonskeet. En Stack Overflow, la reputación ya no significa nada y está inflada.
      Hay mucha gente con más de 100 mil de reputación por hacer o responder preguntas básicas de JavaScript, Python, pandas, Git y cosas así.

  • Cada vez que publicaba algo en SO u otro sitio de SE, siempre tenía que escribir claramente: “Sé que A puede no ser una buena idea y que B podría ser una mejor solución, pero en mi caso específico de verdad quiero hacer A”.
    Aun así, la gente intentaba cerrar la pregunta diciendo que era duplicada de B.

    • Alguna vez incluso incluí los términos de búsqueda que había usado para comprobar que no era un duplicado. En otras ocasiones expliqué por qué claramente no era un duplicado. Aun así la cerraron como duplicada.
    • La gente simplemente se salta esa parte. El flujo es: leer el título, hojear el ejemplo de código y publicar una respuesta.
      Luego, cuando les digo que ignoraron por completo lo que escribí, me echan la culpa diciendo que los induje al error y me dan downvotes. Así es SO.

  • El problema parece ser que Google está perdiendo la pelea contra los spammers. Hace bastante que hay que agregar stackoverflow a las búsquedas para evitar sitios con contenido copiado.

    • Google no está “perdiendo” ninguna pelea. Google está dejando deliberadamente que el spam prospere.
      Ese spam puede incluir Google Ads/Analytics, y cuando el usuario hace clic en el spam y luego vuelve a la página de resultados para probar otra cosa, aumenta la interacción. Una de esas cosas podría ser un resultado publicitario. Todo eso contribuye a los ingresos de Google.
    • Yo también lo veo así. Google probablemente envíe la abrumadora mayoría del tráfico de SO.
      Hace unos años, si buscabas algo relacionado con programación, Stack Overflow era el primer o segundo resultado. Ahora, con muchísima frecuencia, los 2 o 3 primeros lugares están ocupados por basura spam.
    • Entre los sitios con contenido copiado, los enlaces de YouTube son especialmente graves. Tristemente, no me sorprendería que esa gente se esté convirtiendo en “creadores de contenido” solo gracias a los resultados de búsqueda de Google y esté ganando bastante con publicidad.
    • En mi experiencia, estos sitios de scraping muchas veces se posicionan por encima del original.
    • Todo tiene mucho más sentido si se asume que Google ya no hace búsquedas, sino que se convirtió en un motor de recomendaciones. Triste, pero cierto.

  • Una vez había respondido una pregunta similar, pero no lo recordaba; escribí una respuesta nueva en 2 minutos, me llenaron de votos negativos y dejé SO. Buscar mi respuesta anterior me habría tomado mucho más tiempo que escribir una nueva.
    Cuando dije que la responsabilidad de encontrar duplicados era de quien pregunta, no de quien responde, me dijeron que aun así debía invertir el tiempo o, si no, no responder.

    • Especialmente si sabes que ya respondiste lo mismo antes, deberías buscar la respuesta original.
      Todos los usuarios son moderadores. También hay moderadores explícitos, pero ellos no suelen cerrar ni votar negativo con frecuencia; se ocupan de otros problemas. En sitios pequeños, lo normal es que voten y cierren con permisos de usuario común.
    • Por eso la mayoría de los desarrolladores ahora prefiere ChatGPT. Es mucho más rápido y cómodo. Es como un motor de búsqueda muy inteligente.
      SO quedará como una biblioteca para problemas que aún no ha visto, y encaja bien con ese rol original.

  • A mí este artículo me parece sobre el ascenso de ChatGPT, aunque también estoy de acuerdo en que la moderación excesiva es un gran problema.
    Tuve una mala experiencia en gamedev StackExchange cuando estaba aprendiendo OpenGL y me quedé trabado. Un moderador marcó enseguida mi pregunta como duplicada basándose en una pregunta similar sobre OpenGL ES, pero OpenGL ES, aunque relacionado, es otra API. Intenté objetar, pero me ignoraron. Poco después abandoné un juego en el que había trabajado durante años, y la decisión de ese moderador también influyó en eso. Se sentía como si hubiera una pared bloqueando el camino para obtener una respuesta. La moderación excesiva no es solo una molestia: puede destruir la capacidad de los usuarios de sacar adelante su trabajo.

    • El gráfico del artículo muestra que la caída de tráfico empezó alrededor de mayo de 2022, unos meses antes del lanzamiento público de ChatGPT. Parece más probable que la causa haya sido un cambio en el algoritmo de Google.
      La mayoría de las veces que voy a Stack Overflow también es porque escribí una pregunta en un motor de búsqueda.
    • Del lado de la gente con experiencia pasa lo mismo. A veces quiero hacer una pregunta avanzada en SO e interactuar con otros usuarios experimentados, pero para mantener abierta mi pregunta tengo que pelearme con moderadores que claramente no entienden lo que estoy preguntando.

  • Recuerdo que alrededor de 2013 intenté aprender desarrollo frontend y me fascinaban el diseño web responsive y Twitter Bootstrap. Publiqué algunas preguntas en ese sitio, me ridiculizaron varias veces por hacer preguntas de amateur, nunca volví a usar el sitio y al final tampoco aprendí frontend.

    • Yo tuve el problema opuesto. Había un área en la que realmente sabía bastante, pero no tenía suficiente karma para responder preguntas, así que nunca pude responder ninguna.
    • Hay cierta barrera de entrada. Un amigo, que era mucho menos habilidoso que yo como desarrollador, era mucho más hábil con la técnica de usar SO en sí. Yo simplemente leía sin participar y resolvía mis problemas por mi cuenta.
    • La universidad a la que fui básicamente te tiraba encima el manual de ciencias de la computación y te decía RTFM. Estuve a punto de reprobar, pero al final aprendí.
      En SO solo tuve buenas experiencias, pero de todos modos espero que no se desanimen por personas por debajo del promedio y sin tacto.

  • También existía el infierno de la moderación, pero la razón principal por la que dejé de responder preguntas en SO fue esta: escribir una buena respuesta toma tiempo; las respuestas rápidas de copiar y pegar reciben votos positivos aunque estén equivocadas; y quien elige la respuesta aceptada entre muchas respuestas suele ser quien hizo la pregunta y normalmente no tiene el conocimiento para evaluarla.
    Además, muchas veces la respuesta no queda aceptada, como si a quien preguntó ya no le importara. Hubo una fuerte reacción negativa contra viejos artículos que gamificaban la competencia por puntos en SO, pero SO prefirió quedarse igual en vez de intentar arreglar un sistema roto. Así como SO fue un movimiento para alejarse de Experts Exchange y similares, ahora es un buen momento para que la comunidad empiece un sitio de Q&A post-SO.

    • Si haces una pregunta tonta sobre un framework JS de moda, recibes cientos de votos.
      En cambio, si respondes sobre una parte difícil de software con documentación casi inexistente, por ejemplo en áreas de bajo nivel, recibes como mucho unos pocos votos. Si la aceptan, es cuestión de suerte. En las etiquetas difíciles y oscuras de SO hay algunos héroes desconocidos. Dedican muchísimo tiempo, pero reciben muy poca recompensa. Lo que venga después de SO tendrá que encontrar una forma de arreglar esto.

  • Es difícil reducir a unos pocos los problemas que sentí en Stack Overflow, pero a grandes rasgos son estos. Antes Google mostraba muy bien resultados de SO extremadamente relevantes, pero en algún momento dejó de hacerlo, y la moderación de SO se volvió cada vez más terrible.
    No puedo contar las veces que encontré justo esa pregunta rara que estaba buscando, con un único comentario que podía ser la respuesta, y un moderador la había cerrado agresivamente por algo como “no corresponde al tema”. Como resultado, la respuesta exacta queda enterrada en un comentario y muchas veces recibe reacciones negativas. Con todo eso junto, se volvió cada vez más difícil filtrar la información deseada entre el ruido, y terminó siendo más fácil encontrar la solución en comentarios de GitHub o en algún blog al azar.

    • Lo primero parece lo más importante. SO puede ser terrible ahora, pero hay años y años de respuestas que eran buenas hace unos años. Entonces, ¿por qué ya no aparecen?
      Que Google hoy recomiende w3schools o, peor todavía, granjas de contenido como geeks4geeks siempre es peor que Stack Overflow. No sé qué está haciendo el algoritmo, pero sí parece claro que intenta matar la búsqueda de Google lo más rápido posible. También parece una broma que al buscar “[lenguaje] [símbolo]” te mande a esas granjas de contenido en vez de a la documentación. Hoy en día es realmente difícil encontrar algo útil con Google.
    • A mí también me pasó muchas veces buscar “¿cómo hago X?” y encontrar una pregunta de SO que hacía exactamente eso. Pero quienes respondían no contestaban hasta que se explicara por qué se quería hacer X, y al final explicaban muy bien que en realidad había que hacer Y.
      Pero yo de verdad necesito X, así que esas respuestas no me sirven. Luego, cuando encuentro otra pregunta que pide cómo hacer X, los moderadores la cierran por duplicada de la anterior. Incluso si quien pregunta aclara “realmente necesito X, así que no es duplicada de esa pregunta”, la cierran igual.
    • Un hilo típico de SO es así. Pregunta: “¿Cómo hago X con Y?” Respuesta con más votos: “Yo no haría X con Y. En su lugar, considera Z. Z hace todo lo que X con Y hace, y además hace esto otro”.
      Subcomentario enterrado bajo la respuesta más votada: “Esa no es la pregunta. Para hacer X con Y, se hace así”. Y la persona que realmente respondió la pregunta recibe ataques en 10 comentarios por no haberlo hecho como decía la respuesta más votada.
    • En lo personal, pesó mucho el aumento de la buena documentación oficial. Hace 12 o 13 años, cuando salió SharePoint 2013, tuve que hacer algo para SharePoint 2010.
      No era desarrollador de SharePoint y era mi primera vez, pero estaba acostumbrado al método a la antigua de entender un sistema leyendo manuales o especificaciones. Había trabajado con formatos de bitmap, inversores solares, software embebido para construcción, etc., así que SharePoint debería haber sido fácil, pero sin StackOverflow no lo habría logrado. Cuando en 2023 volví a necesitar trabajar con SharePoint, la documentación oficial estaba tan bien hecha que no necesité nada más. Es un ejemplo aislado, pero hoy me pasa algo parecido con casi todo lo que manejo. También tengo 10 años más de experiencia, pero creo que influye mucho que la industria maneja mucho mejor los canales oficiales. Cuando surge un problema, ¿hoy uno va a StackOverflow o a lugares como los issues de GitHub?
    • Hay un patrón típico que vi repetirse de muchas formas. El título de la pregunta es muy claro: “F en el contexto de X”, y el cuerpo dice: “No estoy preguntando por F en el contexto de Y, ni por libT que se puede recibir según el estándar U. ¿F funciona para libS en el contexto de X?”
      Pero A1, con más de 100 votos y una recompensa de 50 aceptada automáticamente, dice “funciona” y se extiende explicando solo una parte de F sin contexto, sobre libS en el contexto de Y. En los comentarios aparece “no es la respuesta correcta, ver A15”, y otro comentario se queja de que el fundamento de A15 sobre U viene de un sitio secundario y no es confiable. A2 a A7 son refritos de A1, A8 dice que es duplicada enlazando a una pregunta sobre el contexto Y, y A9 a A14 dicen “funciona” dando ejemplos de libT, que se comporta distinto. Solo A15 dice: “La pregunta pide F para libS en el contexto de X y aclara que no es Y; visto en el contexto X de libS, no funciona. La razón es foo”, y enlaza documentación o código fuente de libS y ejemplos. Después, cuando en libS vN+1 se agrega F en el contexto X, años más tarde aparece un comentario diciendo “esta respuesta ya no es válida”. Luego siguen respuestas aleatorias.