Estudiante de CS descubre la primera palabra en 2,000 años en un rollo de Herculano sin abrir
(scrollprize.org)- Los rollos de Herculano, carbonizados por la erupción del Vesubio en el año 79, eran tan frágiles que se desmoronaban al abrirlos, pero se confirmó la posibilidad de leer las letras internas con escaneos CT y aprendizaje automático
- Luke Farritor, participante de Vesuvius Challenge, encontró una palabra completa dentro de un rollo sin abrir y recibió el premio First Letters Prize de $40,000
- La palabra descubierta es ΠΟΡΦΥΡΑϹ, en grafía moderna “porphyras”, que significa “púrpura”, aunque todavía es difícil determinar con certeza el contexto y los límites de la palabra
- El hallazgo del crackle pattern por parte de Casey Handmer llevó a mejoras en los modelos de Luke y Youssef Nader, y Youssef recibió el segundo premio de $10,000 con un resultado independiente más nítido en la misma zona
- La combinación de competencia abierta, herramientas open source y trabajo de segmentación ha acercado de forma realista la meta del Grand Prize de $700,000
La primera palabra surgida de un rollo que no pudo abrirse durante 2,000 años
- Los papiros de Herculano son rollos antiguos que estaban en la biblioteca de una villa privada cerca de Pompeya, y quedaron enterrados y carbonizados durante la erupción del Vesubio en el año 79 d. C.
- Esta biblioteca es la única biblioteca de la Antigüedad que ha sobrevivido hasta hoy, y estuvo enterrada bajo 20 m de lodo volcánico durante cerca de 2,000 años
- Fue excavada en el siglo XVIII, pero los rollos eran tan frágiles que podían convertirse en polvo si se manipulaban mal, por lo que era difícil desplegarlos físicamente para leerlos
- En agosto de 2023, Luke Farritor se convirtió en la primera persona en ver una palabra completa dentro de un rollo sin abrir y recibió el premio First Letters Prize de $40,000
- Este premio se otorga al encontrar al menos 10 caracteres en un área de 4 cm² del rollo
- Youssef Nader también descubrió de forma independiente la misma palabra en la misma zona y recibió el segundo premio de $10,000 por un resultado más claro
- El código publicado puede verse en GitHub de Luke y Youssef
Escaneos CT, datos de referencia y el punto de partida de Vesuvius Challenge
- En 2019, el profesor Brent Seales de EduceLab en la University of Kentucky capturó imágenes de los rollos de Herculano con un acelerador de partículas y generó escaneos CT 3D con una resolución de hasta 4µm
- El equipo también escaneó y fotografió fragmentos separados en los que aún quedaba tinta visible, creando un dataset de referencia
- Stephen Parsons trabajó en detectar tinta con aprendizaje automático en los escaneos CT de esos fragmentos separados, y obtuvo resultados en ellos
- Nat Friedman y Daniel Gross iniciaron Vesuvius Challenge para acelerar este avance
- En marzo de 2023 lanzaron una competencia abierta
- Además del Grand Prize de $700,000, ofrecieron varios premios menores para el desarrollo de herramientas y técnicas open source
- Desde inicios del verano se sumó el equipo de segmentación para mapear la estructura 3D de los rollos, y para julio ya había segmentado cientos de cm² de papiro para desplegarlos virtualmente
La señal de tinta que encontró Casey Handmer
- A inicios de agosto de 2023, Casey Handmer pasó mucho tiempo observando segmentos de escaneos CT y descubrió un crackle pattern que parecía tinta
- Stephen Parsons ya había visto evidencia directa de tinta en fragmentos separados, pero aún no se había confirmado dentro de rollos sin abrir
- Casey se convirtió en la primera persona en 2,000 años en encontrar tinta y letras dentro de un rollo sin abrir
- Este hallazgo se volvió el punto de partida directo tanto para el modelo de Luke como para el enfoque de Youssef, y Casey recibió el First Ink Prize de $10,000
El modelo de Luke Farritor y “porphyras”
- Luke Farritor, estudiante universitario y practicante de verano en SpaceX Starbase, conoció Vesuvius Challenge a través de una entrevista de Nat Friedman hecha por Dwarkesh Patel
- Después de ver en Discord la discusión sobre el crackle pattern de Casey, dedicó sus tardes y noches a entrenar un modelo de aprendizaje automático para aprender ese patrón
- Cada vez que se descubría un nuevo crackle, el modelo mejoraba, y ese modelo mejorado volvía a revelar más crackles, creando un ciclo iterativo
- El modelo encontró varias decenas de trazos de tinta y algunas letras completas, que se usaron como datos etiquetados para entrenamiento
- Con el tiempo, el modelo empezó a revelar incluso rastros de crackle invisibles al ojo humano, y esos rastros se convirtieron en pistas de letras y palabras
- En la primera entrega de Luke aparecía tenuemente ΠΟΡΦΥΡΑϹ, es decir, “porphyras”
- Cuando el profesor Brent Seales mostró esa imagen a especialistas en papirología, estos leyeron de inmediato “porphyras” pese a que las letras eran tenues
- Tras una revisión técnica, se enviaron nuevas imágenes a un panel de papirología, y ellos anotaron de forma independiente y unánime 13 caracteres
- La confianza se clasificó en más de 80%, entre 50 y 80%, y menos de 50%
- “porphyras” significa “púrpura” y es una palabra muy poco común en la literatura antigua
- Una especialista en papirología consideró que, por falta de contexto, no puede descartarse si se trata del sustantivo “tinte púrpura o tela púrpura”, del adjetivo “púrpura”, o incluso de otros límites de palabra
- Como la literatura de la época no usaba espacios, es aún más difícil determinar los límites de palabra
El enfoque independiente de Youssef Nader
- Youssef Nader, estudiante egipcio de posgrado en biorrobótica en Berlín, se sintió impulsado por los resultados de Casey y Luke para probar otro método
- Primero revisó los trabajos ganadores del Kaggle Ink Detection prize
- Esa competencia se enfocó en mejorar el enfoque de aprendizaje automático basado en fragmentos separados de Stephen Parsons
- Youssef adaptó su modelo a los rollos mediante preentrenamiento no supervisado con datos de los rollos y ajuste fino con etiquetas basadas en fragmentos
- Tras recibir un pequeño premio por la idea del “Ink Detection Followup Prize”, se concentró en la misma zona cuando los resultados iniciales de Luke se compartieron en X y Discord
- Con un modelo adaptado de la competencia de Kaggle, encontró algunas letras, y no buscó crackles manualmente como en el método de Casey
- Anotó como datos etiquetados las formas que parecían letras y amplió eso con pseudo-labeling iterativo
- El modelo final se entrenó solo con segmentos internos del rollo, y con ese resultado aseguró el segundo lugar del First Letters Prize
- Los especialistas en papirología mostraron un consenso más fuerte sobre las letras en el resultado de Youssef, y también examinaron la posible palabra superior “ανυοντα / ANYONTA” y la inferior “ομοιων / OMOIωN”
- Si esas palabras son correctas, existe la posibilidad de que este rollo de papiro contenga un texto completamente nuevo desconocido para el mundo moderno
Los vínculos creados por la competencia abierta y el open source
- Como las contribuciones de varias personas se conectaron directamente en la ruta hacia el descubrimiento, esto se convirtió en un caso real de cómo funcionan competition + open source y una estructura escalonada de premios
- Youssef aprovechó modelos de la competencia de Kaggle y se inspiró en el resultado de Luke para observar la misma zona
- La búsqueda de crackles de Luke partió directamente del trabajo de Casey
- Casey pudo examinar muchas láminas de papiro gracias a que el equipo de segmentación ya había mapeado cientos de cm²
- El equipo de segmentación pudo mapear áreas amplias gracias a herramientas creadas por participantes de los Segmentation Tooling Prizes
- Incluye trabajos de varios participantes como Julian Schilliger, Chuck y Yao Hsiao
- Estas mejoras de herramientas se construyeron sobre las herramientas open source existentes del equipo de Brent Seales
- Sobre esa base están trabajos de varias personas, entre ellas Seth Parker y Stephen Parsons
- Viendo el progreso hasta ahora, casi todos los elementos de la operación del concurso cumplieron un papel load-bearing, y el avance pudo haber sido más frágil y accidental de lo que parece en retrospectiva
Los siguientes pasos hacia el Grand Prize de $700,000
- El equipo de segmentación y los participantes siguen avanzando, y hace unos días el modelo de Youssef generó una nueva imagen más grande y más nítida
- En la nueva imagen pueden verse claramente 4.5 columnas de texto separadas por márgenes
- Se ven más letras, pero no todas son legibles de inmediato, y el equipo de papirología sigue investigándolas
- Vesuvius Challenge considera que este avance convirtió al $700,000 Grand Prize en una meta alcanzable
- Quienes quieran participar pueden sumarse a través de la comunidad de Discord, el newsletter en Substack y la cuenta de X, y empezar revisando los datos, tutoriales, trabajos ganadores y herramientas de la comunidad
- El objetivo es abrir el conocimiento contenido en cientos de rollos, duplicar la cantidad de literatura antigua y hacer posible leer incluso miles de rollos que aún no han sido excavados
1 comentarios
Opiniones de Hacker News
Las letras se descubrieron al buscar texturas de grietas que parecían formas de letras griegas en fragmentos de papiro de las tomografías CT, y anotarlas como datos de entrenamiento.
Sin embargo, en la mayoría de los papiros esas texturas de grietas no son visibles a simple vista; probablemente solo se ven así donde la tinta se aplicó muy espesa.
En la imagen de microscopio electrónico https://scrollprize.org/img/tutorials/sem.png se aprecia mucho mejor la diferencia de textura, sobre todo en los bordes donde la tinta fue desplazada.
Sorprende que las grietas se hayan descubierto recién después del concurso de detección de tinta de Kaggle. Casey Handmer también escribió en https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien... que buscó texturas de “barro agrietado” y “láminas” que correspondieran a tinta de letras conocidas, pero que solo aparecían en alrededor del 10% de las letras conocidas.
Las nuevas imágenes son mucho mejores de lo esperado, pero todavía se trata de una sola región pequeña, así que sigo siendo pesimista sobre si se podrá leer algo más que unas cuantas frases raras.
No todas las letras serían claramente visibles para el ojo humano, pero en las imágenes escaneadas hay muchísimas capas, así que al ir pasando entre imágenes, con el tiempo los patrones empezarían a aparecer.
Escribí código que, si mal no recuerdo, minimizaba la pérdida de varianza total alineando bloques de imagen mediante interpolación bilineal de cada columna de píxeles hacia arriba y hacia abajo, y aplanando la textura de las grietas.
Después quería usar una red neuronal convolucional 2D optimizada sobre la imagen “aplanada”; al observar la sección transversal del rollo, parecía haber zonas con compresión local coherente, como en la madera, así que pensé que la interpolación podría bastar.
Por eso no estaba muy de acuerdo con usar convoluciones 3D para este problema. La tinta aplicada y seca debería seguir un patrón medio predecible detectable con convoluciones 2D, y las invariancias deseadas podrían estructurarse de antemano con más facilidad.
Si a alguien le interesa el código, puedo buscarlo y compartirlo.
También vale la pena ver el anuncio de Nat en Twitter: https://twitter.com/natfriedman/status/1712470683207532906
700.000 dólares es dinero capaz de cambiarte la vida, así que dan ganas de dejarlo todo y sumergirse como un monje que persigue la sabiduría antigua con machine learning moderno.
También es gracioso pensar que el rollo podría ser simplemente una lista de lavandería.
Además, “la excavación no se ha completado, y muchos historiadores creen que todavía hay miles de rollos bajo tierra”: https://scrollprize.org
Si fuera una lista de lavandería, la habrían escrito en una tablilla de cera reutilizable, no en un papiro caro.
Más tarde, que alguien fuera de la familia imperial vistiera de púrpura llegó a ser un delito castigado con la muerte; no sé si eso ya era así en la época de la erupción del Vesubio, pero Wikipedia dice que Calígula pudo haber mandado matar a alguien por vestir de púrpura.
Recomiendo mucho iniciarse en la literatura clásica. Es realmente asombrosa y supera la imaginación; tuve algo de contacto con ella en la escuela, pero recién hace poco entendí lo extraordinaria que es.
Para principiantes recomiendo Life of Pythagoras de Iamblichus, The Golden Ass de Apuleius of Numenia (traducción de Robert Graves), Life of Alexander de Plutarch, Education of Cyrus de Xenophon y Parmenides de Plato.
SHWEP.net también me resultó muy útil, porque guía por muchos clásicos de forma accesible pero rigurosa, y tiene una orientación relativamente esotérica, cosa que también me gusta.
He intentado acercarme a la literatura clásica algunas veces, pero siempre me resulta difícil de leer y no logro motivarme para terminarla; me pregunto si hay algo de este género que me estoy perdiendo.
Pitágoras quizá fue el filósofo más grande de la historia. También recomiendo leer a Archytas, su heredero intelectual; sus ideas sobre matemáticas, mecánica, música, aprendizaje y filosofía son sorprendentes.
Como mejor introducción a Plato, sugeriría Alcibiades. Es lo bastante ligero como para leerse con gusto, pero al mismo tiempo profundo y trascendente: https://www.gutenberg.org/ebooks/1676
Hace poco vi un excelente video de YouTube sobre este tema: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
El título es “Herculaneum scrolls: A 20-year journey to read the unreadable”, y aborda un poco qué tecnologías hicieron esto posible
Los escaneos existen desde hace 10 años, pero para distinguir el papel de la tinta encima hacía falta entrenar machine learning, y hace 20 años ya era posible con otro conjunto de rollos hechos de materiales con mayor contraste
El deep learning está descifrando datasets que antes se consideraban imposibles de resolver con algoritmos
Hasta ahora, parece que tampoco han encontrado muchas letras que fueran demasiado difíciles de ver a simple vista
Es interesante leer en el texto original el proceso iterativo de anotación manual guiada por la salida del modelo, y luego reentrenamiento del modelo con datos adicionales
Si desde el inicio solo se corría deep learning con datos de referencia disponibles y sin saber qué rasgos debía mirar el modelo, en la práctica casi no funcionaba
Además, el proceso de desplegar virtualmente los rollos también es, por ahora, en su mayor parte manual e intensivo en trabajo
Ahora están intentando que un modelo de deep learning haga lo que hizo la persona aquí, pero todavía no han logrado que encuentre letras reales
Esto se parece a vivir la apertura de la tumba de Tutankamón en el siglo XXI
Es increíble pensar que, en un futuro de mediano plazo, exista la posibilidad realista de comprar en Amazon nuevas obras traducidas que nadie ha podido leer durante miles de años
Realmente genial. Me da curiosidad saber qué aprenderemos de esto
Como comentario aparte, la foto de “el profesor Seales y su equipo escaneando en un acelerador de partículas” parece una escena de una serie de TV. Da la sensación de “si seguimos diciéndole ‘enhance’ a la computadora, podremos leerlo”
Esto podría contarse entre los casos más extremos de recuperación de datos que he visto
Me pregunto si dentro de 2000 años ocurrirá algo como “el primer archivo encontrado en un plato de disco duro desechado”
Los primeros 30 minutos de esta entrevista explican muy bien qué está pasando ahora. Es realmente interesante
https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s
Me parece interesante la expresión “ex-JPL startup founder and polymath”
A mí nunca me han elogiado así por ser una persona versátil; lo que recibí fue “generalista” y “después de una cuidadosa consideración, hemos decidido no avanzar con su proceso de postulación”
Incluso cuando deciden buscar reconocimiento, he visto que los dejan de lado por el pecado imperdonable de “no ser lo suficientemente famosos”
https://scrollprize.org/ explica el desafío original
Otros estudios habían demostrado que era posible el despliegue virtual basado en tomografías CT, pero como en estos rollos la tinta no se veía con claridad en CT/rayos X, tuvieron que recurrir a cambios estructurales más sutiles
No está claro si cambió la estructura del papel, o si la tinta real sí se ve, pero con menos claridad