- Tras la publicación del preprint del artículo “Artificial Intelligence, Scientific Discovery, and Product Innovation” en arXiv en noviembre de 2024, surgieron cuestionamientos sobre la exactitud y la integridad de la investigación
- MIT realizó una investigación interna confidencial y determinó que el artículo carece de fiabilidad, por lo que solicitó oficialmente su retiro a arXiv y a The Quarterly Journal of Economics
- Según una carta pública emitida en nombre del Committee on Discipline de MIT, no tienen ninguna confianza en la procedencia, fiabilidad y exactitud de los datos del artículo, ni certeza sobre los resultados de la investigación en sí
- Según la política de arXiv, solo los autores pueden solicitar el retiro de un artículo, pero como el autor no lo ha hecho, MIT presentó la solicitud oficial en su lugar y espera que el artículo sea retirado y marcado claramente a la brevedad
Impacto del artículo y respuesta de MIT
- Un preprint es una investigación que no ha pasado por revisión por pares (peer review)
- Este artículo está teniendo un impacto considerable en la discusión académica sobre IA y ciencia
- MIT impulsa el retiro oficial para mitigar los efectos negativos que el contenido inexacto del artículo podría tener en ese debate
- El autor ya no está afiliado a MIT
La importancia de la integridad en la investigación
- La integridad en la investigación es un valor central de MIT y forma parte de la misión fundamental de la institución
- MIT cuenta con procedimientos confidenciales y políticas para responder con rapidez a problemas de mala conducta en investigación
- Las políticas y procedimientos relacionados pueden consultarse en el sitio web oficial de MIT
Postura oficial del profesorado
- Los profesores Daron Acemoglu y David Autor fueron mencionados en una nota al pie del artículo y publicaron la siguiente declaración oficial
- El artículo fue elaborado por un exestudiante de segundo año del doctorado en Economía y, aunque todavía no ha sido publicado en una revista con arbitraje, ya se está debatiendo activamente en la literatura sobre IA y ciencia
- Con el tiempo, surgieron dudas sobre la validez de la investigación y el caso fue reportado a los departamentos correspondientes
- En febrero de 2024, MIT llevó a cabo una investigación confidencial conforme a sus políticas internas
- Aunque no pueden anunciar los resultados por restricciones de divulgación de información, reiteran que no tienen ninguna confianza en el origen, la fiabilidad y la integridad de los datos ni de la investigación
- Hacen pública esta información porque, pese a no estar publicado, el artículo ya está influyendo en la discusión sobre el impacto de la IA en la ciencia
- MIT considera esencial mantener un registro de investigación preciso y deja claro que no es apropiado basar discusiones académicas o públicas en los resultados de este artículo
Conclusión y recomendaciones
- MIT recomienda a la comunidad académica y al público no utilizar este artículo como referencia académica
- Garantizar la exactitud y fiabilidad de la investigación es la máxima prioridad
1 comentarios
Opiniones de Hacker News
Se comenta, a modo de explicación, que en arXiv solo los autores pueden solicitar el retiro de un paper, y que MIT pidió al autor que lo retirara, pero eso aún no ha ocurrido. Parece una forma razonable de comunicar información, protegiendo en cierta medida la privacidad pero dejando ver parte de cómo se desarrolló la situación. También se especula que el autor quizá pensó que podría dejar el paper y marcharse voluntariamente de MIT para pasar a nuevas oportunidades, y que no esperaba que MIT emitiera una postura oficial al respecto
Se sostiene que MIT está descargando toda la culpa sobre el estudiante mientras oculta su propia negligencia. El autor recibió recomendaciones de profesores famosos y adinerados de MIT, y parece difícil creer que un estudiante de doctorado de segundo año pudiera montar por sí solo un fraude de investigación de esta magnitud sin contactos en la industria. En el resumen del paper, cifras como que "la IA descubrió 44% más materiales nuevos, aumentó 39% las solicitudes de patente y 17% la innovación downstream" ya resultan sospechosas solo por los números, a la luz de cómo funciona realmente la investigación industrial. Se opina que con un mínimo de sentido común ya era evidente que era fraude
También se confirma que el autor creó un sitio web falso y hasta registró un dominio para aparentar que había trabajado en una empresa llamada Corning. Se adjunta además el caso en que Corning tuvo que forzar la transferencia del dominio a través de la OMPI
Se comparte también un video donde el autor presenta por Zoom un seminario sobre su paper. Mirándolo en retrospectiva, se nota que tenía el hábito de no mirar a la pantalla ni a la cámara cuando mentía, lo que genera inquietud ante la posibilidad de que este tipo de mentiras improvisadas ya fuera una costumbre cotidiana
Se comparte la impresión inicial de que los datos de las gráficas del paper se ven demasiado limpios, más como algo manipulado que como datos reales. En especial, no se explica cómo, en mayo de 2022, apenas seis meses antes de que ChatGPT apareciera ante el mundo, un doctorando de segundo año convenció a un gran laboratorio corporativo de materiales para realizar un experimento a escala de mil personas. La descripción del modelo también pasa superficialmente por cosas como GAN + diffusion sin dar detalles, y desde la experiencia práctica en grandes empresas se afirma que una adopción de esa escala jamás ocurre en tan poco tiempo
Se menciona que, por lo irrealizable del diseño experimental, esto recuerda al fraude del paper de Michael LaCour. En ese caso también había cosas fuera de toda lógica, como las tasas de respuesta y de recontacto de paneles de encuestas, y hasta empresas que sí tendrían capacidad para ejecutar algo así respondieron que esos procedimientos no eran factibles
Se señala que el autor del paper dijo haber recibido aprobación del IRB de MIT para experimentos con humanos e incluso mencionó un número, pero en ese momento ni siquiera había ingresado aún al doctorado
En la sesión de preguntas y respuestas, el autor afirmó que no había usado GAN sino GNN (redes neuronales de grafos), pero también se comparte que la audiencia de la presentación tampoco parecía estar cuestionando a fondo la validez del paper
Cuando un paper es difícil de replicar y el campo además es enorme, surge la duda de cuándo podría verificarse realmente. También se plantea que habría que pensar más seriamente cuántos papers fraudulentos existen en ese ámbito. Incluso se menciona la experiencia personal de haber visto a bastantes personas inventar números en ML
También se considera absurdo que se haya podido obtener, mediante análisis automático de texto, datos mensuales de distribución del tiempo de trabajo de científicos de forma casi constante durante un año. Para que eso fuera creíble, la calidad de los datos tendría que ser extraordinariamente buena, a un nivel irreal en la práctica
Se comenta que economistas de renombre en MIT se inclinaron por el lado que dudaba de la credibilidad del paper, y que al intentar verificar casos de innovación en una gran empresa real de materiales no lograron resolver discrepancias, por lo que MIT terminó encargándose de la investigación. No basta con expulsar al estudiante: si los profesores que promovieron activamente el paper estuvieron realmente involucrados en la investigación, al menos debieron verificar lo básico, como si existía ese misterioso laboratorio de mil personas o si las herramientas de IA realmente se estaban usando
Se critica que, entre las 21 personas listadas en los agradecimientos del paper, ni una sola cuestionó de dónde venían los datos. Uno de ellos incluso había escrito un popular hilo en Twitter sobre la investigación, y cuando recientemente se le informó del caso solo respondió brevemente que "parece que los datos del paper no son confiables"
Se lamenta que en la academia hay muchos profesores con gran prestigio que ni siquiera leen bien los papers, y se dice que esto se vive de primera mano. No se pueden dar nombres, pero aun en una situación difícil se agradece tener un buen codirector, lo que permite mantener una visión algo más positiva
Ante la pregunta de cuál era la fuente citada, se aclara que era un artículo del Washington Post y del WSJ
Se destaca que este paper ya ha sido citado cerca de 50 veces. En los journals tradicionales, al menos podría dejarse algún mensaje relacionado con los problemas del paper, pero en el caso de arXiv, si uno sigue el paper no hay forma de enterarse de la controversia o la disputa, lo que deja al descubierto una debilidad de los servidores de preprints
Se aclara que la mayoría de esas 50 citas provienen de preprints en arXiv u otros sitios como ResearchGate. Se menciona que el número de citas en journals con revisión por pares es la medida más realista. Se comparte la sensación de que arXiv no es muy distinto de un blog de PDFs sin revisión, con apenas un sistema ligero de invitación y poca capacidad de defensa. Al comentarlo, también se recuerda un caso antiguo de un paper extraño de criptografía
Se señala que esta debilidad proviene precisamente de la ausencia de revisión: arXiv tiene cierta moderación, pero no alcanza un nivel que inspire verdadera confianza. Confiar en un paper implica confiar en el autor o revisarlo uno mismo, y cuando se retira, tampoco queda registrada aparte la razón, así que cada quien tiene que rastrearlo por su cuenta. Como ejemplo, se cita el mensaje de retiro de un paper que alguien había visto
Se comparte que este paper ya había sido discutido en HN hace unos meses
Se enfatiza, con un enlace adjunto, que ya desde entonces hubo gente que lo encontró sospechoso
Se complementa la información compartiendo el título y el enlace de esa discusión
Se opina que, en lugar de borrar por completo el paper, sería mejor añadir una nota al preprint indicando los problemas y la posibilidad de fraude. Como ya ha sido citado, podría hacer falta más adelante revisar cuál fue su impacto real, y si el paper desaparece solo queda un vacío
Se menciona que, cuando un paper se retira, las versiones anteriores permanecen, y también que MIT sí solicitó el retiro. Se advierte que el titular del artículo periodístico puede prestarse a confusión
Se piensa que también habría que marcar con una advertencia los papers que lo citan, para evitar que se siga citando un paper fraudulento y que el impacto del engaño perdure hasta el final
También se expresa el deseo de que en arXiv al menos exista una página que diga: "Aquí hubo un paper, pero fue retirado"
Se cuestiona la postura de MIT de hablar solo del error del doctorando y negar por completo la posibilidad de financiamiento de VC, acuerdos por debajo de la mesa o corrupción organizada. Se plantea la visión de que, si sabían que tarde o temprano el paper sería desenmascarado, pero mientras tanto aprovecharon para inflar el valor y las expectativas del mercado de IA, obtener beneficios y luego, cuando estalló la polémica, simplemente pagar una suma menor y disculparse, entonces al final se trata de una estructura que deja grandes ganancias. También se señala que en el mercado farmacéutico a veces se opera así. Hay además cautela ante la idea de que citar artículos periodísticos garantice solidez lógica, porque incluso en instituciones y publicaciones confiables abundan los papers falsos o ligeramente distorsionados
Se señala que el comunicado oficial de MIT tiene pocos detalles, y que el artículo del WSJ ofrece un poco más de información, aunque sigue faltando concreción. Se vuelve a explicar que fueron economistas que habían promovido activamente el paper quienes, después de las objeciones de un informático externo, dieron pie a una investigación interna en MIT
Se opina que el simple hecho de que se hable de un "exestudiante de segundo año de doctorado" ya deja entrever que fue expulsado