Mapeo de Hacker News para encontrar quién sabe qué en la comunidad de HN

40 million embeddings to find who knows what on Hacker News

Contexto del proyecto

• En una publicación anterior, se incorporaron 40 millones de publicaciones y comentarios de Hacker News para crear un mapa semántico de la comunidad
• Se descubrió que la comunidad apoyaba el proyecto y, a través de lo que proponía, se reducía rápidamente a relaciones reales en todo el mundo
• A través de una conversación con Robert, se habló de su trabajo construyendo un algoritmo de significado social en 2008
• Sorprende que, incluso 16 años después, las redes sociales como Hacker News todavía no calculen ni muestren voces confiables por tema

Preguntas principales

• ¿Por qué es tan difícil descubrir y explorar a las personas que más saben sobre un tema específico?
• ¿Cuál es el alcance de su conocimiento y cómo se relacionan con personas de ideas similares?

Nuevas funciones de la app

• Con la nueva app se puede explorar e interactuar con el mapa semántico de Hacker News (hn2.wilsonl.in)

Hallazgos interesantes

• Organización semántica de usuarios: muestra semánticamente las contribuciones en HN partiendo de los usuarios y junto con usuarios similares
  • Ejemplo: revisar el nuevo perfil de robg
• Búsqueda semántica: permite buscar el significado de HN según quién sabe qué
  • Consultas de ejemplo: startups, programación Go vs Rust, neurociencia y sueño, email marketing
• Mapeo de la comunidad: permite mapear la comunidad con base en significados relacionados con quién sabe qué
  • Como el conocimiento no es uniforme, se puede resaltar a las personas y lo que saben a través de la topografía de la comunidad

Potencial de la tecnología

• Al combinar las tres funciones de organizar significado, buscar y mapear la comunidad, se puede mostrar a las personas detrás de las palabras
• En lugar de organizar la información del mundo, se puede organizar a las personas del mundo
• Hace pensar en diversos desafíos del conocimiento social
• Se recomienda que quienes quieran explorar esto juntos a medida que el proyecto avance más se unan a la lista de espera

Resumen de GN⁺

• Este proyecto propone una forma de encontrar y explorar expertos sobre temas específicos a través de un mapa semántico de la comunidad de Hacker News
• Analiza semánticamente las contribuciones de los usuarios para visualizar su relación con usuarios similares
• La función de búsqueda permite encontrar fácilmente a personas con conocimiento sobre temas específicos
• Resalta a las personas y lo que saben a través de la topografía de la comunidad
• Este proyecto ofrece una nueva forma de conectar a las personas y compartir conocimiento

[GN⁺]

Opiniones de Hacker News

• Personalmente, me gusta que HN se enfoque en el contenido y la discusión más que en usuarios individuales. Si quisiera seguir a expertos, probablemente haría mi propia lista directamente en una red social como Mastodon o armaría a la fuerza algún feed RSS.
  Esta herramienta parece identificar mejor a comentadores activos que a expertos con conocimiento, y también está el problema de las cuentas desechables. Aun así, es un proyecto genial.

  • En lo personal, no leo los nombres de usuario. Es la forma más fácil de concentrarme en los comentarios, y ayuda mucho que no haya cosas como avatares o firmas.
    No recuerdo en absoluto con quién he discutido en HN, pero seguro pasó algunas veces.
  • Siento lo mismo. Me gusta que aquí no haya avatares ni cosas por el estilo, porque lo vuelve centrado en el contenido.
    Al mismo tiempo, también creo que el proyecto del post original es excelente.
  • Lo más interesante probablemente sean los espacios vacíos, porque las tendencias de ausencia son las más difíciles de notar. ¿Cuáles son los puntos ciegos que Hacker News está pasando por alto de una forma cuantificable?
  • Curar manualmente una lista de expertos para seguir requiere bastante esfuerzo. Sería bueno tener una herramienta que ayude con eso.
    Idealmente, bastaría con ver el contenido sin necesitar una lista de expertos confiables, pero antes había una época en la que buscabas en un motor de búsqueda “cuál es la mejor base de datos para usar” y obtenías resultados útiles. Ya no. HN quizá todavía sea mejor que otros lugares, pero al final sufre problemas parecidos.
  • Creo que se podría elevar un nivel la capa social para poder conectar más profundamente con personas que tienen intereses similares.
    Así no solo se contaría la contribución, sino también cómo esa contribución se conecta con otras personas.

• En la página https://hn2.wilsonl.in/user/simonw, debajo del mapa aparece “Risk of COVID from pianos”. De verdad quiero saber de dónde salió eso.

  • Parece ser el resumen de este comentario: https://news.ycombinator.com/item?id=30105274
    Si haces zoom y mueves el cursor rojo sobre esa ubicación/texto del mapa, debajo del mapa aparece el comentario original.
  • ¿Será que también existe el riesgo de que el COVID provoque pianos?
    Como cuando al inicio de la pandemia subieron las ventas de guitarras y equipos de gimnasio para casa porque la gente buscaba hobbies para hacer en casa.
  • Mis resultados parecen bastante precisos. Aparecen aceleración RDP, firmware de impresoras 3D, gestos Graffiti en pantallas táctiles y Linux mainline en SBC, y todos son mis hobbies.
    Casi no comento sobre mi trabajo real, que es arquitectura cloud y redes, ni sobre IA, que es un área demasiado saturada. Curiosamente, casi no hay nada relacionado con Apple, lo cual es muy irónico si pienso en mi blog. Así que esta herramienta muestra de qué habla la gente aquí, pero no necesariamente qué sabe.
  • Me pregunto si ayudaría hacer que los puntos fueran más interactivos.

• https://hn2.wilsonl.in/user/c0l0 — al parecer soy un experto líder en optimización del diseño de tapas de inodoro. Pregúntenme lo que quieran.

  • Como aquí hay una autoridad en diseño de botones de doble descarga, supongo que debería hacerme a un lado por ahora.
  • ¿Con qué se determina específicamente por qué soy conocido?
    Mi página tiene una cantidad enorme de elementos: https://hn2.wilsonl.in/user/AndrewKemendo
  • Mis resultados son un caos completamente absurdo. Si lo pienso, tiene sentido. Yo también lo soy.
    https://hn2.wilsonl.in/user/SketchySeaBeast
  • Eso no es nada. Yo soy mundialmente famoso por el análisis comparativo de eficiencia de chimeneas.
    Me pregunto si al crear los embeddings usaron IDF y le dieron un peso demasiado grande a grupos de palabras raras.

• Publicación relacionada reciente:
  Show HN: explorar HN mapeando y analizando 40 millones de publicaciones y comentarios de HN por diversión - https://news.ycombinator.com/item?id=40307519 - mayo de 2024, 159 comentarios

  • Es sorprendente que HN nos haya conectado a Wilson y a mí a través de 16 años de tiempo y distancias de todo el mundo.
    Gracias a comunidades como HN, tengo esperanzas en el futuro de la confianza en internet.

• Parece que extrajo mi correo electrónico del texto del perfil y lo convirtió en un enlace mailto:; admito que, según los estándares actuales de LLM, no estaba lo suficientemente oculto.
  Aun así, hizo que fuera más fácil recopilarlo, así que supongo que debería agradecer en nombre de los spammers de bajo esfuerzo.

  • Me pregunto si todavía existen de verdad bots de spam de bajo esfuerzo que raspan enlaces mailto:, o si seguimos haciendo ofuscación de correos como un culto cargo.
    El spam cambió muchísimo desde aquella época; ¿se seguirá usando esta estrategia?
  • Creo que incluso un LLM básico podría descifrar intentos de ocultar correos al estilo de los 2000.
    Por ejemplo, la ofuscación de un amigo que en la página de contacto de un blog popular escribió “firstname [cute arobase sign] domain.com”.
  • Normalmente no me preocupo mucho por estas cosas, pero esto no está bien. Hizo lo mismo con el mío.
    ¿Hay alguna forma de hacer opt-out de esta función?
  • En mi caso, falló al decodificar base64.

• Recuerdo una herramienta bastante polémica que apareció aquí hace algunos años. Usaba análisis de estilo y estilometría para encontrar “usuarios similares”: ingresabas un nombre de usuario y te encontraba cuentas secundarias que probablemente pertenecían a la misma persona.
  Dicen que era aterradoramente precisa; al menos eso me contó un amigo que tenía cuentas secundarias. ¿Esta herramienta también podría adaptarse para ese uso? Parece que se podría codificar como vector el “mapa” renderizado en el avatar de cada usuario y luego compararlo con otros usuarios.
  Edición: un momento, acabo de darme cuenta de que quizá ya hace eso. Aunque no queda claro de inmediato si “Explore More Users” está ordenado por similitud.

  • Probablemente sea menos eficaz para encontrar cuentas secundarias de esa forma. La gente suele usar cuentas secundarias para participar en discusiones con las que no quiere que se la vincule desde su cuenta principal.
    Empleadores, política y otros temas: es probable que los temas en los que participa una cuenta secundaria sean distintos. En cambio, el estilo funciona porque no mucha gente puede cambiar fundamentalmente su forma de escribir aunque lo intente.
  • Probablemente era esto: https://news.ycombinator.com/item?id=33755016
  • Hace unos años creé un sistema que hacía esto: https://x.com/austingwalters/status/1041894765439201281
    Irónicamente, tanto entonces como desde entonces he usado casi exclusivamente embeddings, pero este sistema no los usa. El principal problema de los embeddings es que no cambian bien con el tiempo. Se pueden ajustar, pero no es tan fácil como con otros métodos. El lenguaje está lleno de abreviaturas específicas de cada industria, y los modelos en general son malos para adaptarse a expresiones y abreviaturas cambiantes. Al final uní algunas cosas más y lo convertí en una empresa: https://ipcopilot.ai
    Ahora estoy buscando ideas en Hacker News para una demo: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
  • Sería interesante una forma de resumir en cierta medida a los usuarios.
    Por ejemplo, que user123 es bastante gracioso, se expresa de forma coherente, le interesan TypeScript y el desarrollo web, y tiene puntuaciones altas en responsabilidad y extraversión.
  • Interesante, pero a mí también me parece un poco inquietante. Me gustaría saber cómo podría hacerse mejor para reducir ese aspecto.

• Mi nombre de usuario viene del otro yo del narrador en 『Zen and the Art of Motorcycle Maintenance』. Tiene que ver con un pasaje sobre el cuchillo del análisis.
  “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
  No sé si el nombre hizo al destino, si elegí ese nombre porque me conocía a mí mismo, o si simplemente uso demasiado estas palabras, pero entre mis palabras clave están “part, system, level, language, article, object”, entre otras.

• Me costó un poco profundizar con mi nombre de usuario, y no parece mostrar mucho más que un montón de puntos esparcidos por todo el mapa.
  Estoy tratando de entender cuáles son los clústeres generales, pero la mayoría parecen ser simplemente android/apple/google: https://hn2.wilsonl.in/user/mmastrac

  • ¿Entonces que yo tenga experiencia en Apple, Google y Tesla no es tan único?

• Interesante. Alguna vez noté que mi comentario con más votos era sobre una pregunta legal. Es porque tengo relativamente más experiencia en ese ámbito que la mayoría de los usuarios de HN. Antes fui abogado.
  Según esta herramienta no estoy entre los principales comentaristas de law/legal/lawyer, pero definitivamente reconozco algunos de los nombres principales y recuerdo haberlos visto en hilos legales. Es una herramienta bastante genial.

  • ¿La API de HN también incluye la puntuación de los comentarios?

• Lo mejor de HN es que los comentarios se sienten bastante efímeros. No me gusta que los analicen y los exhiban públicamente sin mi consentimiento.
  No es que haya algo particularmente interesante sobre mí en esa página, pero se siente raro. No hace falta analizarlo todo, ni competir en todas partes. A lo que voy es que me gusta que el foco esté en el contenido, y no en quién lo dijo. Después de ver esto, borré mi usuario de Twitter de mi perfil. Agradecería que la app también lo actualizara

  • Sobre lo de que “los comentarios se sienten bastante efímeros”, uso una extensión de Google Chrome que se enciende si hay comentarios de HN en la página que estoy viendo.
    Cuando descubro naturalmente una entrada de blog y se enciende ese indicador, suelo leer los comentarios aunque el post sea de hace años. A menudo encuentro perspectivas o contexto útiles
  • Para cualquiera que lea esto: los comentarios son exactamente lo contrario de efímeros. Después de un periodo inicial muy breve, no se pueden borrar ni editar.
    Así que cualquier cosa que digas aquí puede, y de hecho podría, quedar vinculada a ti para siempre. Ya sea de forma directa o de una manera más difusa, como muestra esta herramienta
  • Conozco esa sensación. Yo también la sentí.
    Pero me di cuenta de que, desde cualquier comentario, con dos clics se llega a una consulta como esta: https://news.ycombinator.com/threads?id=RamblingCTO
  • Los comentarios aquí nunca fueron efímeros.
    Hacker News en sí lleva años ofreciendo una API en tiempo real prácticamente gratuita y varios datasets grandes, con el objetivo de que cualquiera pueda analizar fácilmente los comentarios de aquí: https://github.com/HackerNews/API
    Ningún comentario escrito en internet fue efímero alguna vez. Hace más de 20 años que incluso dejamos de fingir que lo era