La Fundación Wikimedia lanza 'Citation Needed', una extensión experimental de Chrome con LLM/RAG
(chromewebstore.google.com)Extensión de Chrome Wikipedia Citation Needed
- Permite verificar una afirmación específica al seleccionar un fragmento de texto mientras navegas por la web
- Utiliza la API de ChatGPT para buscar artículos relacionados en Wikipedia y citar contenido de esos artículos
- Proporciona información sobre si la afirmación seleccionada está respaldada en Wikipedia, junto con señales de calidad del artículo como la fecha de la última edición y la cantidad de referencias, para ayudar a los usuarios a entender mejor el contexto de la información que reciben, incluida la que proviene de Wikipedia
Solicitud de comentarios de los usuarios
- Esta función es experimental y usa IA generativa, por lo que reconocen que a veces puede cometer errores
- Solicitan que se reporten los problemas encontrados mediante el enlace de comentarios de la extensión para comprender y mejorar la calidad de los resultados
- También agradecen comentarios generales e ideas sobre otras formas en que Wikipedia podría ser útil durante la navegación web cotidiana
Información para desarrolladores
- Esta extensión fue desarrollada por el equipo Future Audiences de la Fundación Wikimedia, una organización sin fines de lucro que apoya a Wikipedia y sus proyectos hermanos
Opinión de GN⁺
- Esta extensión puede ayudar a los usuarios a evaluar la confiabilidad de la información que encuentran en la web. Sin embargo, como los propios artículos de Wikipedia pueden tener limitaciones de calidad y precisión, parece difícil tomarla como un criterio absoluto.
- Automatizar el resumen y la verificación usando modelos de lenguaje a gran escala como ChatGPT puede mejorar la comodidad para el usuario, pero al mismo tiempo también implica el riesgo de generar información incorrecta. Parece necesario mantener un monitoreo continuo y esfuerzos de mejora.
- Además de Wikipedia, si se incorporaran fuentes confiables validadas por especialistas de cada campo, podría aumentarse la precisión y la amplitud de la verificación. A largo plazo, también podría considerarse la construcción de una base de conocimiento descentralizada basada en blockchain.
1 comentarios
Opiniones en Hacker News
Es una aplicación experimental RAG basada en LLM que verifica afirmaciones en internet comparándolas con Wikipedia.
Se pueden ver más detalles en https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:....
Como referencia, participé en este trabajo.
En los últimos 6 meses hice unas 8 extensiones de navegador; la mayoría tiene miles de usuarios y una llegó a 500 mil usuarios.
Ahora estoy creando una extensión de asistencia de diseño basada en LLM, y me pueden contactar en “hello[at]papillonsoftware[dot]dev”.
Tal vez por eso se llama Citation Needed. En realidad, no cita nada.
Me pregunto si las citas también pueden alucinarse, o si usan algún método como deterministic quoting[1].
Como referencia, soy el autor de ese trabajo.
[1] https://mattyyeung.github.io/deterministic-quoting
Quisiera saber si, al ver documentos, se podría usar para buscar conceptos más complejos en inglés en vez de buscar por palabras clave o expresiones regulares.
Si no, también me interesa saber qué trabajo adicional haría falta para llegar a ese nivel.
Aun así, el trabajo de deterministic quoting se ve interesante.
No hay extensión de Firefox.
Este tipo de proyectos ayuda a debilitar a los navegadores competidores.
Es una buena idea. Más adelante, estaría bueno que un LLM también verifique los hechos de los propios artículos de Wikipedia y los marque.
El repositorio Git de Wikimedia de esta extensión está aquí:
https://gitlab.wikimedia.org/repos/future-audiences/citation...
Además, las instrucciones de compilación del README están incompletas y parece que el hot reload tampoco funciona. Para obtener una compilación funcional, se puede usar
npm run build-dev.No está claro qué impediría convertirla también en una extensión de Firefox. Tal vez sean diferencias entre las API sidebar/sidepanel, pero no las he trabajado mucho.
Si a esto le agregan un generador de documentos basado en búsqueda, tendrían un generador de documentos y un verificador de documentos, y podrían crear directamente 1 billón de páginas.
Podrían servir como contenido de entrenamiento para LLM y probablemente la gente también las usaría.
Me pregunto si esto solo funciona en Chrome. No logré hacerlo funcionar en Arc.
@wikimedia: por favor, una versión para Firefox.
Dice ser una “extensión de Chrome que busca citas en Wikipedia”, pero en el ámbito académico las citas de Wikipedia suelen ser tabú.
Una razón es su baja confiabilidad, y que los autores pueden citar una fuente que ellos mismos pueden editar.
Más importante aún, Wikipedia puede ser buena para encontrar fuentes primarias, pero en sí misma es una fuente secundaria.
Ahora se ha revelado fraude académico a gran escala, y casi no hubo correcciones para remediarlo.
En cambio, Wikipedia ha manejado bastante bien los abusos; usar enlaces de Wikipedia no es tanto una amenaza para la academia como el fraude académico lo es para Wikipedia.
Si la buscas en Google, aparecen muchas repeticiones de la misma información, pero la mayoría de los sitios no cita fuentes.
Antes de Wikipedia tampoco citábamos fuentes secundarias, pero definitivamente las usábamos para entrar en un tema y encontrar fuentes relacionadas.
Los académicos citan todo el tiempo sus propios papers u otras fuentes sobre las que tienen control editorial.
Quiere que las referencias apunten a fuentes secundarias más que a fuentes primarias.
“Los artículos de Wikipedia deben basarse en fuentes secundarias confiables y publicadas y, en menor medida, en fuentes terciarias y primarias. Las fuentes secundarias o terciarias son necesarias para establecer la relevancia del tema y evitar interpretaciones novedosas de fuentes primarias.”
https://en.wikipedia.org/wiki/Wikipedia:No_original_research
Le pregunté sobre sí misma y devolvió esto:
No la usé para su propósito original, pero fue bastante gracioso.