El ascenso abrupto de Hacker News en el ranking de Google

Ascenso repentino del ranking de Hacker News en Google

• Aunque Hacker News es un foro que suele aparecer entre los resultados de búsqueda de Google, antes no se podía encontrar en Google.
• Con la actualización de "Hidden Gems" de Google, el sistema de ranking cambió para priorizar las ideas y experiencias personales útiles, enfocándose especialmente en los foros.
• Se informó que Reddit y Quora obtuvieron mucho tráfico gracias a esta actualización.

Cambio en la visibilidad de Hacker News

• Usando herramientas como sistrix y semrush, se confirmó que la visibilidad de Hacker News aumentó un 162% en el Reino Unido y un 75% en Estados Unidos.
• Como Hacker News solo tiene contenido en inglés, se investigaron las posiciones en Reino Unido y Estados Unidos.

Contenido de Hacker News con alto posicionamiento

• El comentario sobre "¿Dónde se hizo GTA?" apareció como resultado de primer lugar.
• En la consulta "¿Cómo se dice Mónaco en italiano?", el comentario de desdiv ocupó el primer puesto.
• El artículo de GRAHAM PANTHER está bien posicionado para varias palabras clave como "me arruinó la vida".
• Hacker News también aparece con fuerza en palabras clave relacionadas con marcas; por ejemplo, en todas las consultas sobre el costo de YouTube TV, Google prefiere una publicación de thunderbong.
• Las publicaciones de Hacker News también alcanzan alto ranking para palabras clave específicas como "libgen mirror" y "4chan".

Ranking de Hacker News fuera de lo técnico

• Sorprende ver que Hacker News esté ganando posiciones en una variedad de temas que no son técnicos.

Tráfico y ranking de palabras clave de Hacker News

• Se observó, mediante el tráfico y el ranking de palabras clave, que en países donde el inglés no es el idioma principal, el crecimiento de Hacker News es mucho más rápido que en Estados Unidos.

Desventajas de estar en el radar

• La actualización de Google Gems hizo que muchos sitios experimentaran un aumento de spam.
• Ahora los expertos en SEO pueden comprar cuentas, comentarios y votos de Reddit para promocionar sus sitios.
• A través de esta actualización, Google Groups reaparecen y, en su mayoría, tratan sobre artículos de spin gratuito; plataformas sociales como LinkedIn también están siendo atacadas por spammers de SEO.
• Esperamos que la nueva visibilidad no tenga un impacto excesivo sobre Hacker News.

Opinión de GN⁺

• El ascenso de Hacker News en el ranking de Google destaca la importancia de foros y comunidades que ofrecen a los usuarios información realmente útil.
• El cambio en el ranking de Google se puede considerar como parte del esfuerzo por mejorar la calidad de la información y la experiencia del usuario.
• Este cambio también tiene implicaciones para las estrategias de SEO, y sugiere que el SEO debe evolucionar hacia contenidos que prioricen la autenticidad y el valor.

[GN⁺]

Opiniones en Hacker News

• Me pregunto si Google ahora empezó a confiar más en sitios con políticas de moderación fuertes como estrategia de verificación para filtrar publicaciones generadas por LLM.
  Quizá noviembre de 2022 terminó siendo una nueva clase de Eternal September para toda la web.

  • Más aún, me dan ganas de preguntar si Google tiene otra opción.
    Si no puede crear un detector bastante efectivo de contenido generado por LLM, entonces enfrenta el incómodo problema de tener que extraer de Internet contenido que se sabe que fue creado por humanos, mientras todavía estamos de acuerdo sobre lo que significa decir que “sabemos” algo.
    Hay un paralelismo interesante con https://en.wikipedia.org/wiki/Low-background_steel
  • También puede influir el éxodo tras los cambios en la API de Reddit.
    No hay que subestimar la preferencia de la gente por buenos clientes open source o de terceros.
  • Yo definiría Eternal AI September así: los sitios web que existían antes de noviembre de 2022 y que seguían publicando el mismo tipo de contenido se consideran seguros; todo lo demás queda sujeto a verificación para bloquear contenido generado por LLM.
  • Del mismo modo, HN ya es una fuente de datos importante para el entrenamiento de modelos de lenguaje grandes.
    Por ejemplo, el paper de RefinedWeb enumera a HN como uno de apenas 12 sitios web excluidos. Según entiendo, parece que HN fue excluido porque entró al dataset final sin verificación, y RefinedWeb se usó para los modelos Falcon.
    https://arxiv.org/pdf/2306.01116.pdf
  • Creo que buena parte del contenido de texto que vemos en línea será generado por LLM. Tampoco estoy tan seguro de cuánto HN será una excepción a esto.
    Probablemente esté mejor que la mayoría, pero en 2024 es demasiado fácil generar con un LLM un texto que parezca escrito por una persona y publicarlo. Antes de noviembre de 2022, la mayor parte de Internet no era generada por IA, salvo excepciones puntuales como Seychelles Anon o SubredditSimGPT2.

• Después de bajar Brave, escribí “news” en la barra de búsqueda y automáticamente llegué aquí, así que empecé a usar HN.
  Me enganché de inmediato con la variedad de artículos y la calidad del debate, y me quedé mucho más de lo que esperaba, pero creo que HN, igual que Reddit o Xitter, algún día sufrirá el destino de las redes sociales populares, y puede que no tarde tanto.
  La clave es el control social, y si no puedes monopolizarlo, no puedes ganar. Solo espero que Dang resista todo lo posible; HN parece que será la Masada de Internet. Claro que 4chan también sigue ahí, y creo que 4chan seguirá existiendo mucho después de que mueran todas las demás redes sociales.

  • Si eres nuevo, quizá no lo sepas, pero el meme de que HN se está volviendo como Reddit tiene al menos 17 años, y desde hace mucho era el último punto de las Hacker News Guidelines: https://news.ycombinator.com/newsguidelines.html
  • Una forma simple de evitar la enshittification es no volverse demasiado famoso desde el principio, y una manera de hacerlo es ajustar el rendimiento del sitio web para limitarlo a procesar solo cierta cantidad de solicitudes por minuto.
  • ¿Alguien sabe cuál es el plan para la operación de moderación de Hacker News después de que dang se jubile?

• ¿Entonces la teoría es que ahora los bots van a tomar HN, publicar lo que quieren posicionar mejor y arruinar el valor del sitio? ¿Cuál sería la defensa?

  • Eso me preocupa un poco. Sinceramente me sorprende que haya tan poco spam en HN, así que quizá ya exista un buen sistema antispam.
    Si se configuran todos los enlaces externos como nofollow para que Google los ignore, creo que sería menos atractivo desde el punto de vista de la optimización para buscadores.
  • Basta con bloquear por completo el acceso de Google, como si se amputara una extremidad infectada.
    O también se podría dividir HN en una rama activa y una rama de archivo, y hacer que la segunda solo exponga a Google los textos que superen un umbral de recomendaciones.
  • En las últimas semanas vi más publicaciones de estafas con criptomonedas que antes.
    Las marcan como dead bastante rápido, pero no sé bien si están entrando a un ritmo más acelerado que antes o qué.
  • HN puede cambiar robots.txt en cualquier momento para impedir que Google lo rastree.
    Entre mis amigos con inclinaciones copyleft, muchos hacen eso en sus blogs y sitios para bloquear la indexación de Google/Bing.
  • ¿La defensa no sería excluir al crawler de Google del índice y dejarlo sin alimento, o bloquearlo? Manipular el ranking de Google es una pérdida de tiempo si no estás ahí.

• En Kagi pude subir el ranking de búsqueda de HN y bajar el de otros sitios porque yo quería, no porque un empleado del equipo de búsqueda de Google haya hecho un slide deck sobre HN.
  https://help.kagi.com/kagi/features/website-info-personalize...
  Es lo que más satisfacción me da de los 10 dólares que pago al mes.

  • Este comentario terminó haciendo que probara Kagi, y wow. No sabía cuánto me estaba perdiendo con los motores de búsqueda.
    Poder fijar y bloquear sitios web en la búsqueda parece obvio ahora que lo veo, pero es increíble.

• Lo que también me preocupa aquí es la actitud de Google de querer usar comentarios al azar como fuente de los snippets.
  Entiendo que el comentarista promedio de HN pone más cuidado en sus comentarios y en la veracidad que otros usuarios de Internet, pero aun así es un problema.
  En mi caso, si busco Monaco en italiano, el “resultado” principal es un widget de Google Translate con Collins Dictionary, y los tres enlaces superiores son Wikipedia y Quora. HN aparece 4 o 5 enlaces más abajo.
  Y espero que los spammers no terminen superando a dang.

• Al buscar, normalmente primero busco en HN, luego encuentro Reddit a través de Google y, por último, termino usando el viejo y triste Google.
  Cuando apareció Google, era la respuesta que todos esperaban con ansias, era casi todo lo que queríamos, e incluso no era “evil”.
  Ahora da la impresión de que a la gente de Google solo le importa cumplir los requisitos para el bono anual, sin importar qué le pase a la empresa.
  Creo que en los próximos 1 a 3 años aparecerá otra empresa que le arrebate el mercado de búsquedas como lo hizo Google en su momento. Aun así, Google no tiene de qué preocuparse. Porque esa empresa también será “solo una empresa de búsquedas”.

  • ¿De verdad lo ves así? ¿Crees que esa empresa ya existe?

• Para Google: cuando agregábamos site:reddit.com o site:news.ycombinator.com a nuestras búsquedas era para llegar a opiniones no manipuladas por los tramposos del SEO. ¿Cuál es ahora la alternativa?

  • Los spammers llevan años apuntando fuerte a Reddit, pero site:reddit.com sigue siendo útil.
    No sé por qué Google no compró Reddit. Habría problemas de moderación, sí, pero AMZN lo logró con Twitch.
  • Hace falta algo como age:1year. Cuando hago búsquedas relacionadas con tecnología, casi nunca quiero un post de StackOverflow de 2014.
    Ni quiero empezar a hablar de cómo cambió la búsqueda cuando buscas productos o algo que puedas comprar. Para llegar a una página de tienda hay que hacer como 4 clics, y ninguna forma de abrir en una pestaña nueva funciona.
  • La actualización Hidden Gem de Google se presenta como una “oportunidad” positiva para traer contenido más útil a los usuarios, pero en realidad la veo como una maniobra defensiva frente a una calidad de búsqueda que se deterioró de forma absurda porque el algoritmo fue completamente manipulado.
    Ahora incluso las consultas simples devuelven de manera rutinaria montones visibles de spam de motores de búsqueda.
    A esto se suma que, para algunas búsquedas, Google llena casi toda la primera página de resultados con contenido patrocinado, y su utilidad cayó a un multiplicador de un solo dígito. Calculé esa cifra con mucho cuidado.
    Y esta caída de calidad ocurrió justo cuando apareció ChatGPT. En lo personal, cada vez más seguido me salto Google por completo y uso ChatGPT. Me pregunto cuánta gente está haciendo lo mismo y si del lado de la gran G se siente el olor a desesperación.
  • Cuando busco productos de gama alta, empecé a mirar YouTubers más bien pequeños en lugar de Reddit.
    Por ejemplo, este canal es excelente: https://www.youtube.com/channel/UC2rzsm1Qi6N1X-wuOg_p0Ng

• @dang Creo que si aumenta el interés de Google, habrá presión a la baja sobre la calidad de HN, ya que los marketers aprovecharán la influencia y el ranking de búsqueda de HN para llevar a cabo operaciones de influencia
  Me pregunto si estarías dispuesto a considerar la posibilidad de excluir el sitio del índice mediante robots.txt

  • HN lleva mucho tiempo sometido a presión por la caída de calidad, y cómo resistir eso fue una idea central desde el principio
    HN es un experimento. En principio, cuando un sitio comunitario se vuelve popular, la calidad baja. Nuestra hipótesis es que esto no es inevitable. Si resistimos conscientemente el declive, podemos evitar que ocurra. - https://news.ycombinator.com/newswelcome.html
    Eso lo escribió pg hace más de 15 años. Yo llevo apenas 10 años diciendo que intentamos contener la flecha de la entropía de internet: https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que... – no será posible para siempre, pero si se invierte suficiente energía puede lograrse durante un tiempo
    Según la experiencia hasta ahora, el método es una combinación de una comunidad comprometida, software que hace lo que el software puede hacer, y moderación que empuja al sistema fuera de sus modos de falla
    Esconderse del mundo exterior por lo general no es la respuesta. pg a veces usó trucos como Erlang Day, pero convertir eso en la estrategia principal es parecido a intentar evitar infecciones no saliendo nunca. Si es posible, es mucho mejor tener un sistema inmunológico robusto. Si solo evitas patógenos a los que podrías resistir, tu sistema inmunológico se debilita, y esconder HN de nuevos usuarios lleva al envejecimiento. En mi opinión, esto último es una amenaza mayor, y los usuarios existentes la subestiman con demasiada facilidad
    El spam y sus parientes, como el marketing de contenidos, podrían matar a HN si crecieran varios órdenes de magnitud, pero desde mi punto de vista no son el problema más difícil en HN. Porque tenemos una comunidad comprometida, sensible a la calidad, que los marca con flags y los reporta cuando se escapan. Si no tuviéramos esa comunidad, HN habría muerto hace mucho
    El problema mucho más difícil son los comentarios de baja calidad. No me refiero a usuarios maliciosos; la comunidad suele marcarlos y reportarlos bien. El problema son comentarios triviales o malintencionados escritos por usuarios por lo demás decentes, sin quererlo ni darse cuenta. Hay una dinámica ominosa entre esos comentarios y el sistema de upvotes: con bastante frecuencia los peores comentarios reciben más votos que los mejores, y al final los hilos se llenan de maleza. Ese es el componente más grande, y lo que más me preocupa. No Cassandra E Oakley y su sistema de trading, ni la última organización de votos de una startup. Si esas cosas algún día se convierten en el componente más grande, quizá estemos acabados, pero probablemente lo notaríamos con suficiente anticipación para ajustar
    P. D.: @dang no funciona. Solo vi esto por casualidad. En realidad no fue casualidad, sino porque llegó a la parte superior del hilo
    • https://news.ycombinator.com/item?id=39425371 - Lo dejo sin eliminar para este caso
  • Las menciones no funcionan aquí, así que hay que enviar un correo a hn [at] ycombinator.com
    Pero si van a hacer esto, también deberían bloquear a todos los bots de IA y motores de búsqueda a nivel de dirección IP
  • Vale la pena desarrollar bien este argumento. Al mismo tiempo, también debería existir el argumento de que podrían entrar más buenos colaboradores
    De hecho, si llega más gente que no tenga la mentalidad de bloquear y obstaculizar la visibilidad, como en este comentario, el efecto general en el ánimo podría ser netamente positivo
  • Tanto personalmente como en tu rol de “voz de la comunidad”, parece que intentas levantar muros alrededor de algo que no es del todo tuyo
    El artículo de blog enlazado en realidad no dice que “HN se volvió genial”, sino que explica que Google está hundido en basura impulsada por anuncios y que, para mantener una calidad tolerable, tiene que depender de estructuras externas seleccionadas manualmente
  • Creo que si aumenta el interés de Google, de pronto aparecerán rastreadores que se acumularán y generarán presión de enshittification sobre la calidad del código, y al final la web será vendida a grandes editoriales y luego a empresas de entrenamiento de IA
    Ver HN en la era del capitalismo de vigilancia da alivio
    Edición: HN usa Google Tag Manager y Analytics, Amplitude, branch.io

• Siempre me pareció raro que HN no apareciera en los resultados de búsqueda
  El contenido aquí tiene una relación señal/ruido muy alta y parecía cumplir todos los criterios de optimización de búsqueda de Google. Por eso pensé que su ausencia era intencional, y asumí que dang lo excluía del índice y bloqueaba bots a propósito
  Ahora que empieza a aparecer, desearía que volviera a ser como antes. La única razón por la que leo tanto HN es porque me da mucha confianza. Aunque no conozca a la mayoría de los comentaristas, puedo evaluar el contenido con facilidad, encontrar fuentes, descubrir herramientas sorprendentes y leer directamente a fundadores
  De verdad, de verdad no quiero tener que preocuparme de si la portada ahora es publicidad

  • La portada siempre fue publicidad. Ese es prácticamente el propósito completo de este sitio web
    Basta con ver el nombre de dominio

• ¿Qué pasará si HN crece más allá de lo que es ahora? Incluso ahora, la portada avanza bastante rápido y las publicaciones quedan enterradas enseguida
  A veces veo publicaciones y comentarios interesantes y pienso que quiero volver cuando tenga tiempo, pero para entonces ya quedaron varias páginas atrás de la portada

  • Curiosamente, la cantidad de envíos diarios no ha aumentado mucho desde 2011
    Casi todo lo demás en HN crece de forma más o menos lineal, pero la cantidad de envíos no