Actualización de la práctica de envío de artículos de revisión y position papers en la categoría de Ciencias de la Computación (CS) de arXiv

• La categoría de Ciencias de la Computación (CS) de arXiv introdujo una nueva práctica de revisión para los artículos de revisión (survey) y los position papers
• Ahora, estos trabajos solo podrán enviarse a arXiv después de haber sido aceptados tras pasar por peer review en una revista o conferencia
• Al momento del envío, se debe incluir obligatoriamente documentación que demuestre un peer review exitoso (por ejemplo, referencia de la revista o metadatos de DOI)
• Es muy probable que los envíos sin documentación de verificación sean rechazados, como medida para responder al reciente ingreso excesivo de artículos impulsado por la IA generativa
• Con este cambio, arXiv busca compartir solo artículos de revisión de alta calidad y concentrarse en la circulación de trabajos de investigación centrales

---

Requisitos de envío actualizados

• Los artículos de revisión y los position papers solo pueden enviarse a arXiv después de haber sido aceptados y de completar el peer review en una revista o conferencia
  • Al enviarlos, se debe incluir documentación que pruebe un peer review exitoso
  • Si no hay pruebas, hay alta probabilidad de rechazo
• La revisión a nivel de workshop no se considera peer review tradicional y no cumple con los requisitos de envío

Contexto de la política

• Según la política oficial de arXiv, los artículos de revisión y los position papers no son formalmente tipos de contenido permitidos
  • En el pasado, solo un pequeño número de artículos de alta calidad era aceptado a discreción de los moderadores
• Recientemente, con la expansión de la IA generativa y los modelos de lenguaje grandes (LLM), hubo un fuerte aumento de artículos de revisión de baja calidad
  • La mayoría se limita a enumerar referencias bibliográficas y carece de una nueva discusión de investigación
• En esta situación, la carga de revisión para los moderadores se volvió excesiva, afectando el objetivo central de arXiv (compartir trabajos de investigación)

Objetivo del cambio

• Facilitar que en arXiv se puedan encontrar fácilmente artículos de revisión y position papers valiosos elaborados por expertos
• Reducir la carga de trabajo de los moderadores y permitirles concentrarse en revisar los tipos de contenido oficialmente admitidos
• Mantener el objetivo central de arXiv de promover descubrimientos científicos rápidos y libres

Diferencias entre antes y ahora

• Antes, los artículos de revisión eran elaborados por un pequeño grupo de investigadores reconocidos o por encargo de instituciones formales (por ejemplo, Annual Reviews, IEEE, Computing Surveys), por lo que su calidad era alta
• Los position papers también eran, en su mayoría, producidos por conferencias o grupos gubernamentales de investigación (por ejemplo, Computing Research Association, National Academies)
• Actualmente, se envían cientos de artículos de revisión cada mes, y el volumen ya alcanzó un nivel difícil de controlar en términos de calidad

Uso de organismos externos de revisión

• arXiv no cuenta internamente con suficiente personal ni recursos para realizar por sí mismo la verificación de calidad
• En su lugar, reconoce la validación de organismos externos confiables de revisión (conferencias y revistas)
  • Estas entidades realizan revisiones profundas sobre temas relacionados con IA como privacidad, ética, seguridad y ciberseguridad
• Con ello, arXiv puede compartir solo artículos con calidad garantizada

Reenvío y excepciones

• Los artículos rechazados por no haber completado el peer review podrán volver a enviarse mediante un proceso de apelación (appeal) si posteriormente completan la evaluación
  • Sin una apelación aprobada, no se puede reenviar el trabajo
• Los trabajos de investigación sobre el impacto social de la ciencia y la tecnología (como cs.CY, physics.soc-ph, etc.) no están sujetos a este cambio

Posible expansión a otras categorías

• Cada categoría de arXiv es operada de forma independiente por moderadores expertos
• Aunque todas las categorías siguen la misma política, los artículos de revisión son, por defecto, un tipo de contenido no oficial
• Si en otros campos también se produce un aumento repentino de artículos basados en LLM, podrían introducirse medidas similares de endurecimiento de la revisión
• Si se producen estos cambios, se anunciarán oficialmente

[GN⁺]

Opiniones de Hacker News

• Señalan que el problema es una estructura que recompensa según la cantidad producida por las personas
  Si se incentiva a los investigadores según el número de artículos, terminan explotando el sistema para producir la mayor cantidad posible con la mínima calidad
  Lo mismo ocurre con las recompensas basadas en vistas o en impresiones de anuncios, que también inducen conductas distorsionadas
  Al final, el mundo en línea es un sistema diseñado no para los humanos sino para la optimización algorítmica

  • Dicen haber escuchado que una estructura parecida aparece también en la industria de apoyo a las personas sin hogar
    En San Francisco, la cantidad de financiamiento que reciben las ONG se determina por el número de personas sin hogar a las que “ayudan”, lo que termina creando incentivos para mantener el problema en vez de reducirlo
  • Hay quienes sostienen que no hay que culpar a los LLM
    El problema son las personas y el sistema de incentivos, no la herramienta en sí
  • El atractivo mismo de los LLM está en la “salida rápida”
    Ya era una cultura equivocada medir el desempeño con métricas sin sentido como líneas de código o número de commits
    Parece que vivimos en el “infierno de Goodhart”: un mundo en el que manipular la métrica se volvió el objetivo
    Lo dicen medio en broma, pero satiriza una realidad empresarial donde esa gestión centrada en métricas termina provocando caídas masivas
  • Eso lleva a preguntarse cómo sería un sistema de recompensas centrado en la calidad
    Se cuestionan qué forma tendría un mundo en línea centrado en las personas y cómo deberían ser recompensados los creadores de contenido
  • Algunos creen que este problema se malinterpreta
    Enfatizan que la clave real no es el número de artículos, sino conseguir financiamiento de investigación y la calidad de las propuestas

• Hubo confusión de que arXiv ya no aceptaría preprints
  En realidad, lo que cambió es que solo los “artículos de revisión” y los “position papers” podrán enviarse después de pasar la revisión en una revista o conferencia

  • Explican que esta medida es necesaria porque los LLM pueden generar con facilidad artículos de opinión sin aportes técnicos reales
  • No es un cambio de política; desde el principio ese tipo de trabajos no estaba dentro del alcance permitido por arXiv
  • No se puede subir la versión de la revista, pero sí el mismo contenido excepto el formato
  • Algunos creen que el cambio puede ser positivo porque arXiv se estaba convirtiendo en una especie de blog para el currículum
  • Los artículos de investigación siguen pudiéndose enviar

• Surgió la propuesta de introducir un sistema de reputación en arXiv
  La idea es que los autores suban una clave PGP pública para formar una red de confianza

  • Basado en web-of-trust, proponen una estructura en la que cualquiera pueda recomendar artículos y calcular una red de confianza para juzgar la calidad
    Podría ser menos cerrado que las revistas académicas tradicionales, pero más ordenado que una apertura total
  • También se propone un modelo en el que arXiv mantenga los preprints gratuitos, pero ofrezca un servicio de revisión por expertos de pago
  • Cuentan que cierto profesor hizo la propuesta extrema de “excluir a los investigadores fuera de la Ivy League”, como sátira de la injusticia de la reputación

• Señalan un problema de control de calidad en arXiv
  Solo en octubre hubo 26,000 envíos (enlace de estadísticas) y abundan los artículos sin verificación
  Proponen cobrar una pequeña tarifa de envío para reducir el spam

  • Aun así, algunos opinan que a los usuarios de LLM se les debe sancionar directamente, en vez de castigar a todos los usuarios
  • Otros analizan que no se trata solo de dinero, sino de que los artículos generan beneficios reales como empleo, admisión y visas
  • Si hubiera una tarifa de envío, al menos debería cubrir el costo de una revisión mínima, y sugieren clasificar el nivel de revisión como “sin revisar”, “revisión simple”, “revisión completa” o “verificación de reproducibilidad”
  • También mencionan que, como en Metafilter, incluso una cuota de registro de 1 dólar podría tener efecto contra el spam

• Hubo quienes señalaron que el título de la publicación en HN era incorrecto
  En realidad, la formulación precisa sería: “Debido al rápido aumento de artículos de revisión escritos por IA, el área de CS de arXiv exige revisión por pares para los artículos de revisión”

  • La frase original “Due to LLMs” podía malinterpretarse como si se hablara de ‘artículos escritos por LLM’
  • Como el propósito original de arXiv es la divulgación previa a la revisión, esta medida no daña ese valor
  • Algunos lamentan no poder seguir disfrutando el humor extraño que producen ciertos artículos hechos con LLM

• Se preguntan por la motivación de quienes suben a arXiv artículos totalmente generados por IA
  El proceso de envío es engorroso, así que resulta dudoso por qué lo hacen de todos modos

  • Explican que una vieja práctica académica de inflar el número de publicaciones para manipular el h-index se acelera con los LLM
  • En casos como la visa EB-1, ser “autor de artículos académicos” es un criterio de evaluación, así que incluso subir un trabajo de forma meramente formal tiene mucho valor
  • También suponen que puede ser simplemente para presumir logros, mostrándolos a la familia o a empleadores

• Señalan que la mayoría de los artículos de baja calidad tratan sobre temas de IA
  Muchas personas, cuando conocen por primera vez los LLM, hacen experimentos autorreferenciales del tipo “hagamos que un LLM escriba sobre LLM”
  El resultado son resúmenes tipo mezcolanza de los datos originales

  • Se han encontrado artículos generados por IA también fuera de CS, y algunos incluso citan artículos inexistentes
  • Esperan que arXiv no se reduzca a “solo investigación nueva”; ya existen artículos de investigación generados por IA, y esos son aún más difíciles de detectar
  • El valor de arXiv está en la retroalimentación temprana y la apertura, así que permitir “solo artículos con revisión por pares” equivale prácticamente a decir “no entren”

• Evalúan positivamente esta medida de arXiv
  En áreas que cambian rápido como multi-agent systems o agentic LLMs, hace falta un criterio claro
  Exigir metadatos legibles por máquina como el tipo de artículo, enlaces a datos y código, o el alcance del benchmark podría aumentar la confiabilidad
  Estandarizar etiquetas como “Survey” o “Position” y una checklist de reproducibilidad permitiría mantener la calidad sin bloquear ideas iniciales

• arXiv ya venía sufriendo desde hace mucho el problema de los artículos de baja calidad para autopromoción
  Es algo que existía incluso antes de los LLM

  • Pero como arXiv es esencialmente una plataforma para compartir resultados rápidamente, algunos creen que el deterioro de calidad no es tanto un “dolor” sino una estructura en la que los usuarios deben filtrar por su cuenta lo que leen