Artículos eliminados en tiempo real de la página principal de Hacker News
(github.com/vitoplantamura)- HackerNewsRemovals es un proyecto que registra historias que desaparecen de la Front Page de Hacker News, con el objetivo de entender los tipos y la escala de los ajustes observables externamente en la página principal
- El servicio obtiene cada minuto las 90 Top Stories mediante la HN API oficial y las compara con las 30 principales del minuto anterior, dejando en el registro las historias que ya no aparecen
- La premisa central es que es difícil que una historia pase en 1 minuto de estar entre las 30 primeras a quedar fuera de las 90, y que en esos casos existe la posibilidad de que haya sido eliminada explícitamente
- No puede determinar automáticamente si una historia es duplicada; como los duplicados pueden ser una razón razonable para eliminarla, siempre hay que verificarlo al ver la lista
- El registro se actualiza con un retraso máximo de 1 minuto; si una historia vuelve a aparecer en la Front Page, se elimina de la lista, y las historias en el second-chance pool quedan excluidas
Objetivo del proyecto y planteamiento del problema
- HackerNewsRemovals es un proyecto para entender en qué escala y de qué forma se realizan ajustes en la Front Page de Hacker News
- Considera que los ajustes observables externamente en la Front Page se dividen, a grandes rasgos, en dos tipos
- Modificación del título de una historia: puede influir, de forma voluntaria o involuntaria, en su ascenso en el ranking
- Eliminación directa de la Front Page
- Como el seguimiento de cambios de títulos ya lo ofrece hackernewstitles.netlify.app, este proyecto se enfoca en las historias eliminadas
- Originalmente era una pequeña aplicación creada para uso personal, pero al no encontrar una herramienta o sitio web que ofreciera el mismo tipo de información, la publicó como repositorio público
- Indica que si existe una herramienta o sitio web similar, podría archivar el repositorio o volverlo privado
Actualización de febrero de 2024 y advertencias
- En la actualización del 4 de febrero de 2024, se agregó un enlace a una discusión en Hacker News sobre este proyecto
- Discusión: HN discussion
- Comentario de @dang sobre la premisa central: @dang comment
- La cantidad de historias eliminadas el sábado 3 de febrero de 2024 fue la más baja registrada por el servicio, e incluye 2 historias duplicadas
- Al revisar la lista, siempre hay que verificar si una historia es duplicada
- Los duplicados pueden ser una razón razonable para la eliminación
- El servicio no tiene forma de determinar automáticamente si algo es duplicado
Cómo funciona
- El servicio usa la HN API oficial para obtener cada minuto las 90 Top Stories
- Compara los datos actuales con las 30 principales obtenidas en el minuto anterior, es decir, la Front Page
- Si una historia que estaba en la Front Page anterior ya no aparece entre las 90 Top Stories actuales, la registra en el log
- Este método se basa en la premisa de que una historia no puede moverse naturalmente en 1 minuto desde el top 30 hasta quedar fuera del top 90
- Si una historia vuelve a aparecer en la Front Page, ese elemento se elimina del log
- Las historias que están en el second-chance pool quedan excluidas del log
Datos registrados
- El título y la URL usan los valores que tenía la historia cuando apareció por primera vez entre las 30 principales
- La puntuación, la cantidad de comentarios y la posición usan los valores del momento en que la historia fue eliminada de la Front Page
- Cada ID de historia enlaza a una página de news.social-protocols.org
- Esa página ofrece un gráfico del ranking de la Front Page a lo largo del tiempo
- La lista se actualiza en tiempo real, con un retraso máximo de 1 minuto
Formato de la lista pública
- El README incluye una lista de historias eliminadas por fecha
- Cada entrada puede incluir el ID de HN, la posición al momento de la eliminación, la puntuación, la cantidad de comentarios, el título de la historia y el enlace al original
- Como ejemplo, se enumeran por fecha entradas del 22 al 27 de junio de 2026
- Algunas entradas no muestran puntuación ni cantidad de comentarios, sino solo la posición y el título
- Al interpretar la lista, hay que verificar si se trata de duplicados; el servicio en sí no automatiza la detección de duplicados
Qué motivó la creación del proyecto
- El detonante fueron dos historias relacionadas con OnnxStream publicadas en Hacker News que luego se vieron afectadas de distintas formas en la Front Page
- La primera historia cambió su título de “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” a “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”, y un usuario señaló que el nuevo título no reflejaba el propósito de la historia
- La segunda historia estaba en el puesto 3 de la Front Page menos de 1 hora después de enviarse, pero luego fue eliminada de la Front Page
- @dang respondió que la historia había sido marcada por usuarios, aunque no mostrara explícitamente una marca de flag, y que la causa de los flags solo podía suponerse
- A partir de esta experiencia, creó una pequeña aplicación de consola para comprobar con qué frecuencia ocurría el fenómeno y, al no encontrar luego una herramienta pública que monitoreara lo mismo, la publicó
1 comentarios
Opiniones en Hacker News
Viendo la lista de publicaciones eliminadas, la moderación aquí me parece bastante satisfactoria.
Todas eran sensacionalistas, casi publicidad de alguna empresa en particular, títulos clickbait, muy fuera de tema, o una combinación de eso, y personalmente no vi ninguna que sintiera que no debió haberse eliminado.
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
El último artículo podría haber tenido un título menos exagerado, pero el contenido en sí era un artículo de opinión interesante. Parece más probable que esto se deba a un falso positivo del filtro de spam, a una oleada de reportes, o a algún mecanismo contra la manipulación de votos, más que a una acción directa de los moderadores.
Eso fue suficiente para saber lo necesario sobre la moderación de este sitio. Por suerte, alguien dejó una captura de pantalla: https://merveilles.town/@cancel/111834048502040552
¿En serio? ¿Un informe de la NASA en un sitio oficial .gov? Puede que los comentarios hayan sido un desastre, pero parece estar justo en el centro de los temas que le interesarían a HN.
Es bastante claro que, para que un foro en línea se mantenga sano a largo plazo, necesita buena moderación. A HN le ha ido bien gracias a una comunidad fuerte que aporta votos positivos/negativos y a un equipo de moderación que, en general, interviene de forma ligera, pero sabe decir que no cuando hace falta.
Puede que el autor haya partido desde la sospecha, pero el resultado termina funcionando como un informe de transparencia bastante bueno.
La suposición de que “una publicación no puede caer del top 30 a fuera del puesto 90 en un minuto, así que debió haber sido eliminada explícitamente” es incorrecta.
El detector de discusiones incendiarias, es decir, el detector de debates sobrecalentados, y los reportes de usuarios pueden producir eso, y también hay otros mecanismos de software. Por ejemplo, si una publicación lleva más de 18 horas en la primera página, su peso baja automáticamente salvo que se haga una excepción manual. Además, los reportes de usuarios afectan el ranking de una publicación mucho antes de que aparezca la marca
[flagged].Supongamos que alguien recibe un feed en tiempo real de publicaciones de HN, reporta las que no quiere ver y luego pide a sus amigos que hagan lo mismo. ¿Hay salvaguardas para impedir que ese comportamiento tenga una influencia indebida sobre qué cosas llegan o no a tener oportunidad de ser vistas?
[flagged], ¿qué tipos de reportes de usuarios existen y por qué no son públicos?La gente debería saberlo. El bloqueo en la sombra pertenece a la década de 2010.
No hay problema con que un usuario cree algo así. Los principios bajo los que funciona HN son lo bastante fáciles de explicar y defender. Solo que algo tan complejo inevitablemente es desordenado, así que para entenderlo con precisión se necesita una alta tolerancia al desorden.
Pero es importante corregir imprecisiones como el error mencionado aquí: https://news.ycombinator.com/item?id=39231537. Robin89, ¿podrías corregir el texto? Entiendo que fue una suposición equivocada hecha de buena fe, pero está muy equivocada.
Además, sería más fácil responder las preguntas aquí si los ID de HN de la página enlazaran a los hilos reales de HN. Ahora apuntan a social-protocols.org. Por supuesto, eres libre de enlazar a donde quieras, pero así es difícil seguir las preguntas aquí. Cada quien llega con su lista de “qué pasó con las publicaciones X, Y, Z, y también con W, V, J”, y en principio quisiera responderlas todas, pero hay un límite físico a la cantidad que puedo procesar.
Durante las próximas horas estaré mayormente en reuniones, así que, si no quedo sepultado en este hilo, intentaré responder preguntas más tarde.
Esa anomalía y falta de transparencia, aunque haya buenas razones, hace que para los usuarios el ranking se sienta arbitrario e injusto. ¿No se podría indicar en cada publicación si hubo alguna manipulación sobre su ranking o sobre otras listas? Por ejemplo, algo como reiniciar la hora de envío parecería fácil de mostrar.
Puedes decir que ocurre una reducción de peso, pero lo que estamos preguntando es que queremos ver dónde ocurre esa reducción de peso.
Dijiste que te cuesta creer que los usuarios de HN estén hartos de las noticias relacionadas con LLM, pero yo estoy harto, así que puedes creerlo
Aunque no las reporto solo por estar harto
Pienso seguido en esa frase cuando pienso en moderación. La gente tiende a asumir que todos en una comunidad son parecidos a uno, y en la práctica solo los moderadores tienen una idea de qué tan saturado está un tema en particular. Por eso tampoco me gusta mucho el meme de la libertad de expresión incondicional que aparece cada vez que
$corporationprohíbe a$person_i_like. Toda comunidad necesita moderación y, cuando se hace bien, parece que no pasa nada, así que es un trabajo por el que cuesta recibir agradecimientoLa inteligencia colectiva se cansa muy rápido de la repetición [2]. La clave es separar la paja del trigo: aquí el trigo son los posts que aportan información nueva importante [3], y la paja es la enorme cantidad de posts derivados o imitativos [4]
Es importante notar que las opiniones sobre este problema están en un espectro muy amplio. Si imaginas un deslizador con los extremos “no permitir ningún post sobre
$TOPIC” y “permitir todos los posts sobre$TOPIC”, casi todos los usuarios lo pondrían en posiciones distintas. Pasa con todos los temas, y especialmente con los más grandesEl espacio de la primera página es el recurso más escaso en HN [5], y cada lector tiene una “firma” distinta de preferencias sobre lo que quiere o no quiere ver ahí. Por eso no solo es imposible satisfacer a todos, sino también satisfacer por completo a cualquiera. Nadie encaja perfectamente con la primera página y, aunque seguro habrá alguien con ganas de refutarlo rápido, por supuesto tampoco encaja perfectamente con las preferencias de los moderadores
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
Esos temas también me interesan hasta cierto punto, pero la mayoría de los artículos no aportan nada nuevo y solo son textos reactivos ante algún caso reciente de infracción
Si hace falta más noticias relacionadas con LLM, la respuesta parece ser crear un sitio web de LLM News y hacer crecer una comunidad
Me gusta mucho HN, pero quería más noticias de computación retro y videojuegos, así que hice mi propio sitio (https://twostopbits.com/) con el código fuente de HN. No es difícil. Crea lo que quieres y modéralo tú mismo
Llevo más de 35 años en varias comunidades en línea, y la comunidad mejor moderada y más exitosamente sostenida que he visto hasta ahora es, por lejos, HN. Durante un tiempo The Well también fue excelente
Me da curiosidad si sientes que una comunidad con poco tráfico realmente ofrece la mezcla de contenido que esperabas al iniciarla
Sorprendentemente, sí, nosotros también estamos hartos de las noticias relacionadas con LLM
¿No se eliminan la mayoría de estas publicaciones por reportes de usuarios?
No es una pregunta retórica. Hay muchos comentarios en este hilo agradeciendo a los “moderadores”, pero no sabía que hubiera un equipo de moderación encargado de cuidar la primera página. ¿Alguien puede confirmarlo?
“No fuimos nosotros quienes reportamos esa publicación, fueron los usuarios. En el caso de las publicaciones enviadas, casi siempre es así. Ver https://news.ycombinator.com/newsfaq.html”
https://news.ycombinator.com/item?id=39169622
Hay un único administrador que escribe públicamente, dang, y quizá haya otros administradores de HN que lo ayuden, pero cuando la gente se queja de “moderadores”, “moderadores borrachos de poder” o “censura”, el 99,9% de las veces significa más bien que otros usuarios vieron lo que dijiste y que simplemente no queríamos verlo aquí.
También me parece raro que a veces la gente crea que hay alguna “regla” sobre qué se puede reportar. Claramente hay guías, pero como esta facultad la tiene cualquier usuario común, en la práctica cada quien la usa según lo que entiende que significa. Por ejemplo, yo suelo reportar publicaciones cuando, aunque el tema y la publicación en sí me parezcan totalmente válidos, cada vez que ese tema se discute en HN termina en una pelea inútil o lleno de comentarios de la peor calidad. Al menos para mí, reportar no es un juicio sobre el “valor” de la publicación, sino simplemente sobre lo que no quiero ver en HN.
https://news.ycombinator.com/item?id=39231055
Si miras casos como el de “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes”, que al cambiar de título a “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2” básicamente murió, o publicaciones que estaban en el puesto 3 de la primera página a menos de una hora de haberse enviado y simplemente desaparecieron de la primera página, si hay publicaciones que se reportan repetidamente de esta manera, en algún momento hay que preguntarse si no se está tirando spam a la comunidad solo para promocionar enlaces.
Entiendo que la gente quiera promocionar su trabajo, pero la comunidad también tiene preferencias. La comunidad puede cansarse de que todos los días haya publicaciones sobre LLM en la primera página. La comunidad puede rechazar el spam y reportar publicaciones.
No entiendo por qué es tan difícil creer que los usuarios de HN estén hartos de las noticias relacionadas con LLM. Yo también estoy harto, pero no tengo permiso para reportar. Es muy plausible que los usuarios de HN que sí tienen permiso para reportar quieran reportar noticias relacionadas con LLM.
Debería aparecer en la página de comentarios, y para llegar ahí tienes que hacer clic en la marca de tiempo del comentario.
Si no puedes ni imaginar que la gente pueda cansarse de las noticias sobre LLM, tengo un NFT para venderte.
No estoy seguro de que sea válida la suposición de que “una publicación no puede bajar del top 30 a fuera del top 90 en un minuto, así que debió haber sido eliminada explícitamente”.
https://news.social-protocols.org/stats?id=39094387 parece una publicación que cayó bastante rápido al rango de los 30. También podría deberse a que de pronto apareció otro contenido popular.
Si miras las 13 publicaciones listadas el lunes 22 de enero de 2024, solo 3 parecen haber sido realmente eliminadas de HN. Las otras 10 todavía existen.
La publicación de HP https://news.ycombinator.com/item?id=39087776 parece haber sido desplazada de la primera página por ser un duplicado de https://news.ycombinator.com/item?id=39060793.
La publicación de Ford https://news.social-protocols.org/stats?id=39089599 parece haber sido detectada por error.
Sinceramente, de las 13, solo 3 o 4 parecen posible moderación, y aun así no se ve mal. ¿Una historia sobre alambre de púas en Texas encaja en Hacker News? Estoy en Texas y me interesa, pero esperaría enterarme de eso en otro lado, no en HN.
En general, me da la impresión de que HN está haciendo bien la moderación.
Si los reportes de usuarios hacen que el algoritmo baje el ranking de una publicación, pero no la oculten, ¿eso es explícito? “Explícito” parece querer decir intervención manual de un moderador, pero no veo mucho que respalde eso.
Sí, es político, pero no es un tema local.