La afirmación sorprendente de A16Z

• En la lista de libros recomendados de A16Z se encontró una frase fácticamente incorrecta en la descripción de algunas obras que decía que “la mayoría de los libros se detiene a mitad de una oración"
• Neal Stephenson señaló con claridad que, aunque sus novelas puedan ser objeto de controversia, en realidad ninguna termina a mitad de una frase
• Sugirió que el error probablemente se debió a que se publicó una frase generada por IA sin revisión humana
• Al revisar el historial del repositorio de GitHub, se confirmó que existía un borrador generado por Cursor IDE y una posterior edición descuidada por parte de una persona
• Este caso es significativo porque muestra problemas de confiabilidad y falta de verificación en el contenido generado por IA

---

La lista de libros de A16Z y la frase incorrecta

• Neal Stephenson tenía varias obras incluidas en la lista de lectura recomendada publicada por A16Z
  • En una de las descripciones figuraba una frase que afirmaba que “la mayoría de los libros se detiene a mitad de una frase (es decir, literalmente termina a mitad de una oración, mid-sentence)”
• Stephenson señaló que esa frase no es verdadera y que, dado que incluía la palabra “literally”, era un error evidente y no una metáfora
• Explicó que aunque algunos lectores puedan no quedar satisfechos con los finales, obras como 《Snow Crash》, 《The Diamond Age》 y 《Seveneves》 tienen finales claros

Naturaleza y problemas del error

• Esta frase no es una simple crítica literaria (opinion); es una afirmación fáctica e incorrecta
• Stephenson señaló que este error daña la diligencia y honestidad del autor y el editor
• Planteó el problema de cómo una afirmación así pudo aparecer en el sitio web de A16Z

Hipótesis 1: texto generado por IA

• Presentó como explicación más probable que se haya publicado texto generado por IA sin revisarlo antes
  • Los errores de ortografía en los nombres y ciertas particularidades de estilo respaldan esa posibilidad
• Este fenómeno ya se da con frecuencia en áreas tan diversas como el derecho, la academia y los medios
• Stephenson lo comparó con el “Inhuman Centipede” y advirtió del riesgo de que la información incorrecta se vuelva a aprender en los próximos LLM

Hipótesis 2: uso humano de datos incorrectos

• Como segunda posibilidad, planteó un error humano basado en información errónea
  • Subhipótesis A: usar una copia ilegal en PDF (bootleg) y haber tomado como referencia una versión truncada a mitad
  • Subhipótesis B: que problemas de calidad en la traducción hicieran que pareciera que una oración se cortaba a mitad

Trazar la causa real

• Stephenson encontró pistas al investigar el sitio en el historial de commits del repositorio de GitHub
  • En el commit del 21 de julio de 2023 se confirmó el texto original generado por Cursor IDE
  • El texto original tenía una analogía de “segfault”, pero luego una persona lo corrigió de forma incorrecta a “se para a mitad de una frase”
  • Después, otra persona añadió un error tipográfico durante el resumen, y el error quedó completo
• Stephenson lo evaluó como el resultado combinado de la pereza al usar IA y la negligencia humana

Confiabilidad de internet y contenido generado por IA

• Stephenson señaló que los usuarios de internet siguen mostrando una confianza ciega en la información en línea
• Mencionó casos anteriores de fragmentos de su novela Cryptonomicon insertados al azar en correos spam
  • Esos fragmentos sí estaban cortados a mitad de una frase, y recordó la posibilidad de que un LLM hubiera aprendido este tipo de datos
• A través de este caso, enfatizó el riesgo de que la IA genere contenido sin distinguir entre hechos y ficción

Conclusión

• Stephenson expresó agradecimiento por la recomendación de A16Z, pero también planteó la necesidad de una verificación de hechos clara sobre la frase incorrecta
• Este caso se valora como un ejemplo que revela la falta de verificación en contenidos generados por IA y la responsabilidad humana en la revisión

[GN⁺]

Opinión de Hacker News

• Como el historial de commits es público, se puede ver fácilmente que esa lista de lecturas pasó por manos de una IA
  Véase este commit relacionado

  • Esta versión suena mucho más natural. La frase generada por Opus era: “la mayoría de los libros terminan abruptamente como si hicieran segfault en medio de tu función favorita”, pero en un commit posterior la cambiaron por “la mayoría de los libros se detienen a mitad de una oración”
    El mensaje del commit dice simplemente “stephenson”, así que no queda claro por qué lo cambiaron
    Enlace al commit corregido
  • Había una frase que decía: “Stephenson no es simplemente un escritor de ciencia ficción; es alguien que escribe manuales operativos para el futuro”, y de verdad tenía un estilo de texto generado por IA de lo más típico. Al menos lo corrigieron
  • En este commit había un comentario que decía “THIS IS AI GENERATED, NEED TO EDIT”. O sea, prácticamente admitieron que el borrador se hizo con IA desde el inicio
  • Todavía no se ve ningún pull request que corrija esta parte

• Mi experiencia con los LLM no ha sido tan positiva como la de otras personas
  Por ejemplo, en una promoción de Gemini de Google presentaron una línea de tiempo para preparar la cena de Acción de Gracias, pero al hacer preguntas terminó dando tres versiones contradictorias entre sí
  Hubiera bastado con algo simple como “cubre el pan con una toalla para mantenerlo caliente”, pero en vez de eso repetía respuestas completamente fuera de lugar
  La generación de código solo funciona 1 de cada 6 veces, las preguntas tipo StackOverflow salen bien 5 de cada 6, y las preguntas generales son muy irregulares
  Cuando falla, falla tan fuerte que da miedo ver al mundo correr hacia este uso masivo de LLM

  • Sorprende que Google haya pegado este generador de respuestas basura al frente de su servicio principal y aun así la acción se haya duplicado
    Incluso cuando le pregunté “el precio de la acción el día antes del lanzamiento de AI Overview”, también se equivocó en eso
  • Parece que la mayoría de los fans de los LLM se impresionan solo con la apariencia del resultado y no revisan con detalle los errores reales del contenido o la calidad del código
  • Yo también, por diversión, le pedí a Copilot que escribiera un Makefile para AVR-GCC y me devolvió un monstruo de 2500 líneas
    Era más largo que el propio código y un espagueti sin sentido de declaraciones de variables repetidas. No lo vuelvo a usar

• No creo que haya que tomar en serio a A16Z. Parecen una bola de charlatanes

  • Si alguien de reclutamiento presume inversión de A16Z, yo más bien lo tomo como una señal negativa
  • La frase “Software is eating the world, AI is eating the VCs” les queda perfecta
  • También hubo una reacción burlona de “...and a conehead”

• Habría sido genial si el post del blog realmente hubiera terminado a mitad de una oración

  • La primera novela de David Foster Wallace, The Broom of the System, termina con “I am a man of my”
    Otras obras suyas también muestran el caos interior humano, pero sin cierre ni moraleja
    Después de leer más de 2000 páginas, mi conclusión sigue siendo “no lo recomiendo”
    A Neal Stephenson me dan ganas de decirle: “gracias por terminar con una oración completa”
  • Tuve que resistir el impulso de adelantarme para ver el final
    Sus libros siempre dan la impresión de terminar demasiado pronto o demasiado tarde, así que por más interesantes que sean las premisas, no me dan muchas ganas de leerlos
  • También hubo un comentario bromeando con “yo tampoco tengo ideas originales”
  • Otra persona señaló que “de hecho, ese libro sí termina a la mitad”
  • Y alguien más respondió entre risas: “yo también esperaba eso, qué lástima”

• Me recordó a la autobiografía de Werner Herzog
  En el prólogo dice que “una bala de francotirador podría cortarle la vida” y anuncia que lo usará como recurso para terminar el libro de golpe
  Y en efecto termina así, pero justo después añade “este es exactamente el final que había anunciado”, en un típico giro herzoguiano

• Que una gran empresa publique una lista de lecturas de fin de año es un mensaje de PR de “somos personas con emociones y gustos”
  Pero con este caso quedó claro que no era más que una puesta en escena promocional

• Al ver que terminaba con la frase “el sentido de la vida era un entero (integer)”, sentí de inmediato que eso sí era claramente una frase escrita por IA

• Toda la lista está llena del tono típico de los LLM
  Dado de dónde viene, ni siquiera sorprende. En realidad, todo debió terminar desde la primera hipótesis: que lo escribió un LLM

  • Dicen que “leyeron todos los libros”, pero si de verdad les gustaban, uno pensaría que al menos habrían escrito ellos mismos unas cuantas frases

• Se burlan de Stephenson como si fuera un escritor dadaísta que termina todo a mitad de una oración

  • Luego sigue una cita autoparódica del tipo: “dentro de 100 años me recordarán como un escritor así”

• Otra hipótesis es que simplemente haya sido un error de memoria
  Que alguien recordara haber leído hace mucho un libro de Stephenson con un final decepcionante y lo mezclara con otro que “termina a mitad de una oración”

  • Si fuera una reseña oficial de una empresa, uno esperaría que al menos hubieran vuelto a abrir el libro y leído aunque fuera unas páginas
  • Personalmente, me parece mucho más convincente la hipótesis A (que lo escribió una IA)
  • O quizá solo sea marketing barato: meter libros de autopromoción de la empresa dentro de una lista Top 50 generada por IA
  • También apareció la hipótesis D-for-Delany: “algún humano confundió y creyó que Stephenson escribió Dhalgren”. Lo dicen citando esa frase que termina con “I have come to”