La no ficción de calidad es lo opuesto al slop de IA

• Explorar estanterías guiadas por el sistema de clasificación de bibliotecas, la curaduría de los bibliotecarios y el historial de préstamos ofrece a la vez calidad y serendipia, llevando al lector a obras inesperadas de no ficción de gran nivel mejor que un motor de búsqueda
• La plataforma gratuita Book Prize Index permite buscar y ordenar unas 6,500 obras ganadoras y finalistas de los principales premios literarios de no ficción en inglés, y también ofrece consultas en lenguaje natural y exploración de libros similares
• La IA solo se usó para recopilar datos, programar y hacer búsqueda semántica; incluso los resultados a veces difíciles de entender terminan produciendo una experiencia de descubrimiento parecida a caminar por una estantería bien organizada
• Los registros de premios literarios también rescatan obras excelentes descatalogadas y desplazadas por las recomendaciones de Amazon. La biografía de W.E.B. Du Bois, que ganó 4 grandes premios en 1993, está fuera del puesto un millón en ventas, pero en el índice aparece cerca del top 10 general
• Las bibliotecas de investigación abiertas, el aumento de la movilidad, una mejor accesibilidad social, los cambios en la catalogación y en los medios elevaron la calidad de la no ficción del siglo XX; subjetivamente, es posible que el punto máximo haya sido entre los años 80 y principios de los 2000

---

La serendipia curada que nace al recorrer estanterías

• En la universidad, mientras ordenaba libros en las secciones A~F del sistema de clasificación de la Library of Congress, el autor leía una frase al azar en cada libro y así entró en contacto con obras de religión, filosofía, sociología e historia
  • La mayoría no llamaban su atención, pero quedó fascinado por libros sobre religiones mistéricas helenísticas, The Education of Henry Adams y Are Clothes Modern?, leyendo varias páginas y revisando también los volúmenes vecinos
• Esa experiencia se parecía más a un autoaprendizaje curado que a una lectura completamente aleatoria
  • El sistema de clasificación de la Library of Congress y el personal de bibliotecas de investigación organizan y seleccionan los materiales
  • El hecho de que fueran libros prestados funcionaba además como un filtro adicional: ya habían conseguido lectores constantes
  • El resultado era una muestra de alta calidad, seleccionada de forma sistemática pero con una serendipia interesante

La búsqueda en Google y el declive de las estanterías abiertas

• Hoy, cuando estudiantes de licenciatura buscan materiales con Google, la experiencia de descubrimiento queda muy por debajo de recorrer directamente una estantería de una clasificación concreta en una biblioteca de investigación
• Los espacios de las bibliotecas de investigación también están cambiando
  • Las estanterías abiertas que se podían recorrer están siendo reemplazadas por Learning Labs, Digital Innovation Hubs y áreas de asientos para socializar y comer algo
  • También aumentan los casos en que se descartan libros viejos y extraños o se sustituyen por ediciones electrónicas
• Aun así, la calidad de la no ficción sigue siendo alta y, pese a la caída de lectores por la competencia de los chatbots de IA y los podcasts, continúa una edad de oro de la no ficción que no está siendo reconocida como merece

Cómo está construido Book Prize Index

• Book Prize Index es una plataforma gratuita creada para explorar la larga cola (long tail) de la no ficción de alta calidad
• Usa el historial de ganadores y finalistas de los principales premios literarios de no ficción en inglés como criterio de calidad
  • Tras reunir una lista de premios importantes, se usaron Claude y GPT-5.6 para recopilar de Wikipedia y otras fuentes en línea a los ganadores y finalistas
  • Luego esos datos se organizaron en una lista que puede buscarse y ordenarse
• El proyecto opera cubriendo de su propio bolsillo el hosting y los costos de API para que cualquiera pueda usarlo gratis

Pasear por estanterías, recreado con búsqueda semántica

• El papel de la IA se limitó a la recopilación de datos, la programación y la búsqueda semántica (semantic search)
• La búsqueda semántica mejora directamente la búsqueda de texto que los investigadores ya usan
  • Permite buscar frases simples como modern France o social history
  • También procesa consultas en lenguaje natural con significados compuestos, como classic biographies that are surprisingly weird
  • Un modelo de embeddings encuentra libros relevantes entre unas 6,500 obras
• Aunque los resultados a veces sean difíciles de entender, esa imprevisibilidad recrea una experiencia de descubrimiento parecida a caminar al azar por un jardín bien cuidado
• Encaja especialmente bien para el caso de uso books like, es decir, encontrar libros parecidos a otro que ya te gusta
  • Si buscas a partir de las memorias de la Viena de preguerra de Stefan Zweig, The World of Yesterday, puedes encontrar de inmediato libros prometedores que no conocías

Visualización de datos y ranking de editoriales

• Con los datos recopilados se creó una visualización experimental
  • Ordena unas 5,000 obras del corpus según el color de sus portadas
  • Al compararlas por década, se puede observar si en las portadas de libros aparece un fenómeno parecido al “grisamiento” reciente de los colores de los automóviles
• En la misma página, mediante gráficos y el ranking de editoriales, se pueden explorar los sellos e imprentas que lograron los mejores resultados en premios de no ficción durante el último siglo

Los premios literarios preservan la larga cola de la no ficción

• Incluso la categoría de no ficción del Pulitzer Prize comenzó relativamente tarde, en 1962
• El número de premios de no ficción creció entre los años 70 y 90, alcanzó un pico en 2014 y podría haber empezado un descenso gradual desde 2020
• La larga cola formada por finalistas y ganadores de las últimas décadas muestra una calidad consistentemente alta
  • Incluso eligiendo casi al azar de la lista, es posible encontrarse con libros originales y sobresalientes
  • No se trata de libros ignorados al publicarse, sino de obras elogiadas por la prensa, el mundo literario y la academia, que hoy han quedado fuera de los sistemas de recomendación
• La biografía de W.E.B. Du Bois de David Levering Lewis muestra bien esa desconexión
  • Cuando se publicó en 1993 ganó 4 grandes premios, por lo que aparece cerca del top 10 del índice completo
  • Hoy está descatalogada y su ranking de ventas en Amazon está más allá del millón, así que es poco probable que sea recomendada, pero puede conseguirse usada por unos 4 dólares

Los cambios que hicieron posible la edad de oro de la no ficción

• El diseño básico de las bibliotecas de investigación abiertas apareció en los siglos XVIII y XIX, pero los cambios tecnológicos y sociales de la posguerra transformaron profundamente cómo bibliotecas y archivos producían nuevo conocimiento
• Los jets de pasajeros abrieron a más escritores e investigadores la posibilidad de hacer trabajo de campo en varios continentes, algo antes reservado a los ultrarricos
• A medida que se debilitaban las restricciones por clase, raza y género, aumentó la accesibilidad de espacios elitistas como las bibliotecas de libros raros, y también se hicieron posibles nuevas preguntas de investigación
  • Aproximadamente antes de 1965, los biógrafos casi nunca exploraban la orientación sexual de sus sujetos
• El sistema de clasificación de la Library of Congress y tecnologías digitales tempranas como MARC (machine-readable cataloguing), desarrollado a fines de los años 60, facilitaron la clasificación y ordenamiento de libros
  • También hicieron mucho más sencilla la verificación de fuentes y la redacción de notas de alta calidad
• Las noticias televisivas, programas de entrevistas únicos como Dick Cavett y la ruta de adaptación de libros a Hollywood dieron a los autores nuevos incentivos y plataformas para dar a conocer sus obras
• No está claro si los procesadores de texto y las primeras computadoras elevaron de manera sustancial la calidad de la no ficción
  • Desde los años 2000, Wikipedia y Google Books/Hathi Trust sí han contribuido enormemente a la investigación de esta generación

El punto máximo de calidad de la no ficción

• A partir de una valoración subjetiva basada en haber hojeado muchos libros de biblioteca, la calidad de escritura de la no ficción mejoró a lo largo de la primera mitad del siglo XX
• Es posible que el punto máximo haya estado entre los años 80 y principios de los 2000
• Es difícil determinar con certeza si la calidad de la no ficción realmente está bajando hoy

[GN⁺]

Opiniones de Hacker News

• La buena ficción es, en esencia, lo opuesto a la IA. Los LLM pueden combinar varios elementos para producir resultados que parecen creativos, pero tienen límites, y cuesta imaginar que, incluso tras miles de prompts, salga una obra verdaderamente original como una gran novela
  Ese tipo de obra necesita la magia y el absurdo de la vida

  • No termina de cuadrar por qué, para que un humano sea más creativo, necesariamente tendría que pasar por la magia y el absurdo de la vida. La creación humana también es, al final, un proceso de unir y recombinar experiencias propias, y si la IA tuviera suficientes datos que reflejen eso, quizá también podría producir resultados verdaderamente originales
    Tanto la inteligencia como la creatividad son recombinación, y la IA también puede hacerlo bien, como los humanos. La diferencia actual está en que los datos a los que acceden los humanos son mucho más analógicos, emocionales y basados en la realidad
  • Mientras más envejezco, más me viene a la cabeza eso de que no hay nada nuevo bajo el sol
  • La IA sirve bastante en una rama de la no ficción: documentar y explicar contenido técnico. Le di mis gustos y le pedí que escribiera una novela de fantasía, pero el resultado fue terrible, así que no parece que vaya a quitarles el trabajo a los autores de fantasía pronto
  • Ahora mismo no quiero leer novelas escritas por un LLM, pero en el futuro imagino que podría cambiar de opinión y aparecer obras disfrutables. Aun así, la no ficción también es mucho más difícil de reemplazar con LLM
    Los libros que estoy leyendo ahora, https://www.goodreads.com/en/book/show/17801.Underground y https://www.goodreads.com/en/book/show/44824581-a-k-pop-live, dependen de una enorme cantidad de material, incluidas entrevistas presenciales difíciles de concretar y asistencia a eventos en sitio, así que son cosas que un LLM no puede escribir. Incluso libros relativamente comunes como https://www.goodreads.com/series/139929-designers-dragons usan fuentes que no están digitalizadas o que no figuran en recopilaciones digitales generales
    Los LLM pueden ser buenos para sintetizar, pero todavía les faltan las herramientas y los sistemas de verificación necesarios para escribir buenos libros de no ficción. Incluso si eso fuera posible en el futuro, la no ficción más sobresaliente e interesante seguirá siendo terreno humano, y memorias o relatos de viaje también serán difíciles de reemplazar, salvo en casos de dictado
  • Los modelos muestran cada vez más capacidad de extrapolar hacia áreas que los humanos no han explorado, como en las demostraciones matemáticas. Me gustaría saber en qué se basa la certeza de que obtener material del absurdo de la vida sería algo especialmente difícil para los modelos

• La información obtenida al leer textos largos y la obtenida en una conversación con un LLM probablemente se almacenan de manera distinta en el cerebro. Cuando leo algo difícil o nuevo, paso mucho tiempo pensando cómo encaja con mis experiencias o conocimientos previos, y en páginas difíciles me detengo para integrar y reorganizar ideas
  En cambio, al hablar con un LLM siento que recibo conocimiento de forma pasiva, así que no se integra lo suficiente. Curiosamente, no creo que eso pase igual al aprender con un profesor humano

  • Se parece a la asimilación y acomodación de la teoría educativa. La asimilación es el proceso por el cual el conocimiento encaja en esquemas cognitivos existentes, y la acomodación implica cambiar el propio esquema para dar cabida a nuevo conocimiento, lo que produce esa sensación de desafío o profundidad
    Por ejemplo, un niño aprende que un extranjero es alguien que viene de fuera de su país, pero cuando viaja al extranjero por primera vez se da cuenta de que él es el extranjero allí. La salida de un LLM parece inclinarse, por lo general, hacia formas que se pueden asimilar con facilidad
  • Escucho audiolibros mientras camino o hago senderismo, y al recordar algo aprendido a veces también me acuerdo de por dónde iba caminando. Todavía hay mucho por descubrir sobre cómo procesan la información los humanos
  • La idea de que al interactuar con un LLM uno recibe conocimiento pasivamente me suena casi a contradicción en los términos, y difiere mucho de mi experiencia
  • Parece depender más de cómo se usa la herramienta. Yo no aprendo bien solo leyendo; aprendo haciendo y preguntando una y otra vez lo que no entiendo, y el LLM permite repetir preguntas hasta un punto en que un humano perdería la paciencia enseguida
    Como cuando estudio solo con material original, escribo lo que entendí, hago tarjetas de memoria y practico activamente, pero además puedo indagar más a fondo en las partes difíciles. Gracias a eso puedo integrar y reorganizar ideas de una forma que no lograría con otros medios
    Si usas un LLM como una tragamonedas de conocimiento y ejecutas de inmediato lo que te da sin pasar por el proceso intermedio, el resultado puede ser distinto
  • Cada persona adquiere información de manera distinta, así que esta especulación podría estar muy equivocada. No se puede generalizar el hecho de que a alguien no le gusten los LLM como una conclusión sobre el cerebro humano o sobre las formas de acceder al conocimiento en general; aquí casi todo se reduce a una experiencia subjetiva personal

• Los premios literarios son una señal por encima del promedio, pero las editoriales inscriben en masa sus libros a todos los premios que tengan la más mínima relación y lo consideran un costo del negocio. Es parecido a cuando un fotógrafo paga una cuota de participación para poder llamarse “fotógrafo premiado”, o cuando una empresa paga tarifas de evaluación y entrega materiales
  Hay demasiados libros y muy pocos jueces calificados, así que ganar puede volverse algo arbitrario o absurdamente fácil. El NCR Book Award pasó por una gran polémica cuando se supo que los jueces ni siquiera habían leído los libros [1], y el PROSE Award es tan grande que la autoridad de quedar finalista o ganar en categorías generales suele exagerarse
  [1] https://www.theguardian.com/news/2013/may/19/literary-prize-judges-admit-failure-read-books

  • Los premios son producto de su época, así que reflejan no solo los sesgos de los jueces y los gustos literarios de los lectores, sino también amiguismo, favoritismo y elitismo. Si uno mira a los ganadores y nominados históricos de los Hugo, Nebula y Locus, encuentra bastantes obras apenas regulares
  • Con los premios de cerveza y vino pasa lo mismo: algunos son excelentes, pero la mayoría se parece más a una lotería promocional de pago por participar

• En las secciones de "tecnología" y "ciencia" ya encontré varios libros excelentes que he leído y otros que quiero leer, lo que me motivó a retomar el hábito de leer todos los días que había perdido. Últimamente, los libros de "sociedad y cultura" también parecen buenos para un club de lectura
  Hay un bug: si en el filtro de "award" eliges Pulitzer o National Book Award, no aparecen resultados, pero al explorar sí se ven obras ganadoras de esos premios

  • Al principio hice este sitio para usarlo personalmente, pero me entusiasmó expandirlo al descubrir buenos libros que no conocía mediante búsqueda semántica y exploración por categorías. Espero que cumpla ese mismo papel para otras personas
  • Hace poco corregí mis hábitos con el celular y la TV, y ahora en mi familia hacemos un club de lectura silencioso en lugar de noche de películas
    1. Instalé Jomo en mi celular para esperar 5 segundos antes de abrir apps estimulantes y usarlas solo 5 minutos; cada vez que las abro, el tiempo de espera aumenta 5 segundos y se reinicia a medianoche. Esa fricción es la clave
    2. Compro de inmediato los libros en papel que me parecen interesantes y los dejo por toda la casa
    3. Vinculo la lectura a hábitos existentes. Todos los días llevo un libro cuando salgo a hacer ejercicio, y después leo con un café en la cafetería de enfrente; por la noche también leo antes de dormir. Cuando terminas unos cuantos libros, te enganchas con la lectura y hasta se vuelve más difícil concentrarte en la TV, y el scroll infinito empieza a sentirse incómodo, como comer comida chatarra mientras lo haces
       Como libro para empezar, recomiendo https://bookshop.org/p/books/true-grit-charles-portis/5ac45463b35e7b22

• Aprendí muchas técnicas y procesos de derivación que me cambiaron la vida gracias a libros que estaban dos o tres estantes al lado del que iba a buscar en una biblioteca de investigación. Después de convertirme en investigador, les pedía a los bibliotecarios que enviaran los libros a la sucursal cerca de mi oficina, así que ya no recorría los estantes personalmente, pero una vez saqué prestados algunos libros que estaban junto a los del catálogo en la sede principal y obtuve un gran avance
  Ahora instalaron estanterías móviles en esa misma biblioteca, lo que volvió molesta la exploración, y siento que se perdió algo valioso: el hallazgo fortuito al recorrer los estantes
  Tenía muchas expectativas sobre la lista de este sitio, pero en mi especialidad se quedó corta. Si busco libros parecidos a Nutritional Ecology of the Ruminant de van Soest o Animal Breeding: Use of New Technologies de van der Werf, solo salen montones de libros de divulgación científica. Los libros que encontraba antes en la biblioteca mantenían el rigor científico y a la vez eran sorprendentemente claros e interesantes, pero los de divulgación que me recomendaron dan la impresión de querer venderme algo en vez de hacerme explorar ideas por mi cuenta, así que parece que tendré que volver a revisar los estantes yo mismo

• Estaría bien que hubiera búsqueda por autor. Hace poco empecé a leer la serie de LBJ de Caro, y hasta ahora es excelente; me dio curiosidad cuántos premios ha ganado. Me gusta la no ficción, así que probablemente visitaré este sitio seguido

  • Más en general, sería bueno poder ordenar haciendo clic en los encabezados de columna como año, título, editorial, autor o puntuación. En algunas pantallas funciona, pero en otras no, así que no resulta intuitivo
    El cambio entre búsqueda "traditional" y "semantic" se siente fresco, pero estaría bien que el interruptor siguiera visible no solo en la pestaña de inicio, sino también en la pestaña de libros

• Me identifico con el hallazgo fortuito que surge al explorar libros de manera algo aleatoria, pero la web app en sí parece lo contrario. Hice clic en unas cuantas categorías y todos los libros mejor posicionados olían a voto de popularidad, muy lejos de una exploración realmente aleatoria

• Estaría bien agregar Axiom Business Book Awards, Library Journal Best Books of the Year y Booklist Magazine's Editor's Choice Awards. También hay varios Substack populares muy centrados en reseñas, pero no recomendaría ni siquiera mis favoritos para un sitio de agregación pública

  • Pienso agregar Axiom. Aun así, las listas tipo "libro del año" son algo distintas de los premios literarios, así que sigo pensando si agregarlas y cómo hacerlo, aunque es muy posible que sean el siguiente paso para aumentar la cantidad de libros en la lista
    También agradecería recomendaciones de otros premios. Como soy historiador, conozco mejor los premios relacionados con historia, así que es posible que la lista actual esté demasiado sesgada hacia el campo de la historia

• La sección de historia del índice de premios literarios está demasiado sesgada hacia Estados Unidos. Se concentra en historia de EE. UU., pueblos originarios de América, Japón después de la Segunda Guerra Mundial y Vietnam en el último siglo

  • Al final, es porque esos libros se venden. Estados Unidos tiene tanta población que incluso un tema de nicho como la historia puede ser rentable si apuntas al lector estadounidense
    Los historiadores que no intentan vender libros para el mercado masivo escriben obras mucho más amplias, pero rara vez se ven en librerías generales
  • Irónicamente, comparado con Europa, el norte de África, Medio Oriente, Persia, China, Asia Central e India, Estados Unidos en realidad tiene poca acumulación histórica

• Estoy buscando libros sobre la Guerra Civil Española en español o en inglés. No me gustaron los libros estadounidenses que me recomendaron, y quiero seguir buscando sin importar el idioma o en qué país hayan ganado premios, así que estaría bien incluir también premios literarios de países no angloparlantes

  • Más que la guerra en sí, me interesa mucho más cómo llegó a ocurrir y por qué todo un país aceptó la lucha. Para entenderlo, hay que empezar desde el final de la dictadura anterior y revisar toda la Segunda República Española para que la guerra tenga sentido
    Recomiendo The Collapse of the Spanish Republic de Stanley Payne. Fue periodista en España durante todo ese periodo, así que cuenta principalmente lo que vio directamente; no pretende ser imparcial, pero conoció personalmente a muchas figuras clave y las trata con bastante sutileza
  • De los libros que he leído, recomiendo mucho The Spanish Civil War de Paul Preston y Homage to Catalonia de George Orwell. En mi lista por leer están The Spanish Civil War de Hugh Thomas y The Fight for Spain de Antony Beevor, que quiero conseguir y leer pronto