Archivos Nacionales de EE. UU. busca ciudadanos que ayuden a descifrar documentos históricos en letra cursiva
(smithsonianmag.com)- En los National Archives de Estados Unidos hay muchos registros históricos manuscritos de más de 200 años, por lo que se necesita la participación ciudadana para convertirlos en documentos digitales que puedan buscarse y consultarse
- Cada año se digitalizan decenas de millones de documentos y también se usan IA y OCR, pero en los documentos antiguos escritos a mano siguen habiendo fallas de reconocimiento y errores que requieren corrección humana
- Los participantes de Citizen Archivist pueden encargarse de la transcripción de registros o del etiquetado sin pasar por un proceso de solicitud aparte, mejorando así la accesibilidad y la capacidad de búsqueda de los documentos
- Actualmente participan más de 5,000 personas, y hay conjuntos de documentos en proceso como archivos de pensiones de la Guerra de Independencia y contratos de empleados de 1866 a 1870
- La enseñanza de la letra cursiva sigue siendo motivo de debate frente a la prioridad de la enseñanza del teclado, pero más de 20 estados exigen su enseñanza en las escuelas y algunos la convirtieron en ley en 2024
Ciudadanos ayudan a descifrar registros en cursiva de hace 200 años
- En los National Archives hay muchos registros históricos escritos en cursiva, incluidos documentos de más de 200 años
- Estos documentos son difíciles de leer y comprender, y representan una barrera especialmente para los estadounidenses que no aprendieron letra cursiva en la escuela
- El programa Citizen Archivist busca hacer que los documentos digitales sean más accesibles y “abrir la historia”
Los documentos históricos requieren más que IA y OCR
- Los National Archives digitalizan decenas de millones de registros cada año
- Para extraer texto de documentos históricos, usan IA y tecnología de reconocimiento óptico de caracteres (OCR)
- Sin embargo, debido a la antigua escritura cursiva y al estado de los documentos, estos métodos no siempre funcionan ni producen resultados precisos
- Las transcripciones de los voluntarios ayudan a que académicos, genealogistas y aficionados a la historia encuentren y lean los documentos con mayor facilidad
Cómo participar y qué tareas se pueden hacer
- Para empezar no se necesita una solicitud aparte; basta con elegir un registro que aún no haya sido procesado y seguir las instrucciones para trabajar en él
- El programa es gratuito y está abierto a cualquier persona con conexión a internet
- Se puede participar incluso sin tener confianza para descifrar letra cursiva
- Existe la tarea de poner etiquetas a documentos transcritos por otros voluntarios
- El etiquetado ayuda a mejorar la capacidad de búsqueda de los registros
- El tiempo de participación es flexible, así que se puede colaborar incluso con solo 30 minutos al día o a la semana
Misiones en curso y casos de participación a largo plazo
- Más de 5,000 personas participan en el programa Citizen Archivist
- Muchos participantes trabajan en misiones (missions), que son conjuntos de documentos que necesitan transcripción y etiquetado
- Entre las misiones actuales se incluyen archivos de pensiones de la Revolutionary War y contratos de empleados de 1866 a 1870
- La misión de la Revolutionary War comenzó en junio de 2023 junto con el National Park Service, y abarca archivos relacionados con más de 80,000 veteranos y sus viudas
- Alex Smith, un jubilado de Pennsylvania, ha transcrito más de 100,000 documentos durante 9 años
- Estaba buscando una actividad que diera propósito y estructura a su vida de retiro
- En el proceso de transcripción se encontró con documentos como una nota en la que se proponía a Gerald Ford unirse a los Green Bay Packers y registros de pensiones de la Civil War
La enseñanza de la letra cursiva vuelve a llamar la atención
- La enseñanza de la letra cursiva fue en otro tiempo un estándar, pero hoy hay división entre educadores y legisladores sobre si debe priorizarse la cursiva o las habilidades de teclado
- Aun con el uso generalizado de dispositivos como laptops y tablets, la enseñanza de la letra cursiva vuelve a crecer
- Según Education Week, actualmente más de 20 estados exigen que se enseñe letra cursiva en las escuelas
- En California, una ley que obliga a enseñar letra cursiva entró en vigor en enero de 2024
- Unos meses después, en Kentucky también se aprobó una ley que exige la enseñanza de la letra cursiva
1 comentarios
Opiniones en Hacker News
Es un proyecto interesante, pero de verdad lo hicieron muy difícil para participar
En el artículo no hay un enlace directo a la misión, registrarse en sí es fácil y está bien organizado, pero medio que te exige dos formas de autenticación en dos pasos
Después de terminar el registro, al volver a la página original para encontrar la misión, está un poco escondida, y fue interesante abrir los documentos y leerlos. En general, la letra de la gente de esa época era bastante buena
Pero cuando intentas averiguar cómo empezar la transcripción, vuelve a aparecer que no iniciaste sesión, y si haces clic en el enlace, te manda otra vez a la página principal
Me gustaría aportar mi tiempo libre a proyectos así, pero no debería ser necesario pasar por una interfaz mal diseñada para poder hacer voluntariado
Después de crear la cuenta e iniciar sesión, al elegir el estado en la pestaña original pude entrar de inmediato y empezar a transcribir
Me pregunto si quizá uBlock Origin o alguna restricción de JavaScript/cookies hizo que se rompiera el estado de tu sesión
El enlace directo a la misión que estaba en la publicación social era https://www.archives.gov/citizen-archivist/missions/revoluti...
Después de intentar durante unos 30 minutos entre varias sesiones y navegadores, por fin logré iniciar sesión, y no había absolutamente ningún indicador que dijera qué estaba bien o mal
Incluso al iniciar sesión, casi no hay cambios en la UI, así que es fácil no darse cuenta de que sí funcionó
Después de iniciar sesión, pasé otros 45 minutos buscando documentos para transcribir, pero todos los que encontré o los que recibí en el reto ya estaban transcritos o eran documentos mecanografiados/listas donde el reconocimiento de caracteres ya había hecho un trabajo más o menos aceptable
Solo revisé la precisión de algunos documentos, cerré el navegador y no volví
Esperaba poder abrirlo y contribuir durante 15 a 30 minutos al día en los descansos del trabajo, en vez de hacer crucigramas o ver videos, pero da pena que sea tan difícil de usar
No es como si estuvieras metiendo información bancaria, pero todo el proceso se ve molesto por varios lados. Cada vez me cansa más que sitios poco importantes pidan autenticación en dos pasos como si fueran una casa de bolsa
Antes de preguntar “¿por qué no usan simplemente un LLM?”, el artículo ya dice claramente que sí lo usan, pero que no siempre es una solución viable
Si va a ser un proyecto de crowdsourcing, ¿no tendría sentido hacer primero una transcripción inicial con un LLM y mostrarle al usuario tanto la imagen como el mejor resultado del LLM?
Más tarde me registré y vi las misiones actuales: todas eran documentos posteriores a 1900 y parecían compuestos tipográficamente. Estaban borrosos, pero 4o los leyó facilísimo
“Algunos participantes, como el jubilado Alex Smith de Pensilvania, han dedicado años de su vida a este programa. Él transcribió más de 100,000 documentos durante 9 años”
Basta con hacer que varios LLM transcriban esos mismos 100,000 documentos y comparar cuánto más precisos son los humanos o las máquinas
La evidencia presentada es solo una imagen que, a simple vista, parece fácil de transcribir, así que no resulta muy convincente
Es una pena que los vendehumo se hayan adueñado tan por completo del campo de la IA que ahora el OCR termine tratándose como algo aparte
Probé transcribiendo una carta de 1814 en la que una mujer le pide un pasaporte a James Monroe, entonces secretario de Estado, para ir a Escocia a reclamar la herencia de su hermano fallecido
Fue una experiencia realmente distinta, y una vez que te “sincronizas” con la letra de quien escribió, es agradable entrar en ritmo
Además, como al transcribir vas leyendo y reescribiendo el contenido palabra por palabra, las historias que lees se te quedan muy grabadas
No es sorprendente, porque pasas una cantidad anormal de tiempo en una sola página, pero es un efecto secundario bienvenido cuando luego intentas recordarlo
Claro, hay que escoger a un autor cuyo estilo valga la pena respetar. Si no estás familiarizado con el idioma meta, te quedas dándole vueltas a la elección de palabras del autor y a los matices que intenta transmitir, mientras buscas una expresión adecuada en inglés
Eso hace que permanezcas mucho más tiempo inmerso en la imagen
Aunque transcriba algo tal cual, luego no entiendo para nada lo que escribí, y para captar el significado real tengo que volver a leerlo
Parece que tanto quienes confían en OCR/LLM sin titubeos como quienes creen que la tecnología todavía no llega hasta ahí tienen parte de razón, pero no se están escuchando bien entre sí
En vez de discutir sin base, hace falta intentar encontrar ejemplos reales y conclusiones compartidas
¿Se puede usar para reducir mucho el esfuerzo al procesar frases hechas? Sí. ¿Hace falta que una persona revise y corrija el resultado? También sí
Aquí hay un ejemplo sutil: https://catalog.archives.gov/id/34384201?objectPage=40
Una de las transcripciones generadas por
o1-profue la siguiente(2)
…and I don’t know whether it can be reset for a
date in December or not. Cornell seemed
anxious that it should not come up too close to Christmas,
and of course new suspicion [would be aroused?] [about?] him.
I will take this up with the Judge as soon as I can get rid of the brief.
Meanwhile I would like to know whether there is anything else
in which I can be useful to you, since it behooves me
in ways of uncomfortable relations with the present management.
Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings
on the [Teapot?] trial?
I have no inclination yet whether Wheeler will be wanted in
Washington, but the chances are that he will not.
With regards to all the brethren and [flock?], I am
very sincerely yours,
George A. H. Fraser
Aunque no soy hablante nativo de inglés, se notan partes equivocadas. Le dejaré al lector encontrar los errores, pero al menos no es Teapot trial
En este ejemplo GPT-4o lo hizo un poco mejor, y solo falló en la parte de “New Mexican practise”
El resultado de https://www.handwritingocr.com parecía más preciso y, en especial, acertó New Mexican y probablemente la mayoría de otras partes también
and I don't know whether it can be reset for a date in December or not. Cornell seemed anxious that it should not come off too close to Christmas, and of course New Mexican practice would support him. I will take this up with the Judge and with Hanna the moment I can get rid of the brief. Meanwhile I would like to know whether there is anything else in which I can be useful to you, since it behooves me to be diligent in view of uncomfortable relations with the present management.Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings on the Tenorio tract?
I have no intimation yet whether I will be wanted in Washington, but the chances are that I will not.
With regards to all the brethren and flock, Dan
Very sincerely yours,
George H. H. Baser
Y el enlace lleva a la página equivocada. El enlace correcto es https://catalog.archives.gov/id/34384201?objectPage=190
Andaba buscando algo para dedicarle un viernes por la noche a algo medio productivo, y esto queda perfecto
Hablando más en serio, se siente increíble participar en un proyecto de transcribir cartas y diarios archivados que nadie ha tocado desde que fueron guardados
Salvo por estar físicamente frente al documento, se siente como si casi desapareciera la distancia entre quien escribió y ese momento en el tiempo
Sobre todo cuando ves rastros de que alguien borró algo o se equivocó, te pones a imaginar por qué habrá sido. ¿Un amigo pasó por la puerta y lo sobresaltó? ¿Se distrajo mirando por la ventana? Se siente muy cercano y muy lejano a la vez
Me hace pensar que las grandes empresas de IA, tan necesitadas de datos de entrenamiento, podrían aportar un poco a este tipo de trabajo
¿No podrían gastar unas monedas del capital de riesgo, contribuir al bien público y de paso obtener datos de entrenamiento de alta calidad?
Parece que habrá que pedir ayuda a la facultad de medicina ;)
En mi familia todos salieron de la Ivy League, pero tienen la peor letra cursiva que he visto
A veces me toma una hora leer una tarjeta de Navidad que mandó mi hermana
Apostaría a que en la universidad había una materia dedicada a eso
Quiero intentarlo porque me gustaría practicar la lectura de cursiva
Escribo mucho a mano y todas mis notas también las hago en cursiva. Me emociona ver un archivador lleno de temas de todo tipo
Escribo en cursiva por varias razones: se me acalambra menos la mano, ofrece un nivel superficial de privacidad en lugares públicos, no quiero perder la habilidad y, sobre todo, es divertido
También me gusta cómo se ve. No uso plumas especiales, pero le doy mi propio estilo a la cursiva para que se vea mejor
Antes hasta tomaba apuntes de la escuela en caligrafía, principalmente porque me daba una excusa para no poner tanta atención a la materia
Pero a los profesores no les gustaba que no pudiera copiar lo suficientemente rápido los garabatos del pizarrón
Esto está muy padre y no lo digo para menospreciarlo
En muchos sentidos, simplemente ofrecer un pasatiempo con el que la gente pueda participar en los National Archives ya podría ser el objetivo
Pero... ¿no podría una computadora hacer esto mucho mejor?
Metí el ejemplo en 4o y esto fue lo que sacó:
The following is the declaration of James Lambert, a soldier of the Revolutionary War in North America.
The said James Lambert this day personally appeared in the Probate Court of the County of Dearborn in the State of Indiana and at the November Term of said Court (1841), it being a court of record created by the laws of Indiana and made oath that:
On the 25th day of March 1842, he will be eighty-five years old, that he was born in the State of Maryland, that he is now a resident of said county and has been for the 27 years last past; that he has lived in Virginia, Maryland, and Pennsylvania...
La cursiva es analógica y fluida, así que suele tener poca consistencia entre personas, y hasta dentro de la letra de una misma persona a menudo es muy irregular
Si está bien hecha, podría clasificarse como una forma de arte, pero si está mal hecha puede parecer el rastro de una gallina puesta de metanfetamina
Después de usar teclado como 50 años, ya ni yo puedo leer mi propia letra
Ni siquiera puedo hacer una firma reproducible
Si todavía lo hicieran así, creo que el 50% de las transacciones que intento harían fail
Definitivamente se perdió una forma de autoexpresión