Por qué las guías oncológicas están atrapadas en PDF
(seangeiger.substack.com)- Las guías de tratamiento contra el cáncer condensan la evidencia clínica en recomendaciones estructuradas para reducir la variación en la atención, pero por la presión de tiempo y las diferencias en el acceso a la investigación más reciente, es difícil aplicarlas de forma consistente en la práctica
- NCCN es una alianza de 32 grandes centros oncológicos de Estados Unidos, y paneles multidisciplinarios de expertos por tipo de cáncer actualizan cada año las NCCN Clinical Practice Guidelines in Oncology
- Actualmente, las guías son diagramas de flujo en PDF que obligan a seguir varias páginas y enlaces, por lo que en subtipos raros o condiciones complejas del paciente resulta difícil encontrar la versión y la ruta correctas
- La esencia de las guías es un árbol de decisión, así que si estuvieran en un formato interpretable por máquinas, los sistemas de historia clínica podrían ofrecer sugerencias de estudios, alertas por desviaciones de la guía e interfaces de navegación rápida
- Una herramienta piloto extrajo con un LLM la guía de cáncer de mama de NCCN a un esquema JSON y la guardó como un grafo de 271 nodos, pero su precisión es de apenas 70–80% y no debe usarse para decisiones clínicas
El papel de las guías en la estandarización del tratamiento contra el cáncer
- Idealmente, si dos pacientes con el mismo tipo de cáncer, estadio, tamaño y ubicación del tumor acuden a hospitales distintos, deberían recibir el mismo tratamiento basado en evidencia o los mismos estudios adicionales
- En la práctica, los médicos trabajan bajo presión de tiempo, tienen formaciones distintas y puede que no tengan acceso inmediato a la investigación más reciente
- Las guías clínicas organizan una enorme cantidad de evidencia médica en recomendaciones estructuradas para ayudar a la estandarización del tratamiento entre hospitales y profesionales
- La respuesta al tratamiento puede variar según cada paciente, pero seguir guías basadas en evidencia puede aumentar la probabilidad de resultados positivos
Cómo se elaboran las guías de NCCN
- Oncólogos especialistas por tipo de cáncer enumeran cada año distintas situaciones que pueden encontrar en consulta, revisan la evidencia clínica de cada una y recomiendan acciones
- Ej.: cáncer de mama en etapa inicial, lumpectomía previa, paciente actualmente embarazada
- Ej.: paciente con carcinoma ductal invasivo y un tumor de 0.6–1 cm de longitud
- Las recomendaciones pueden llevar a pedir estudios específicos, indicar un curso de tratamiento o definir un calendario de seguimiento
- El panel revisa periódicamente nueva evidencia y actualiza las guías
- Como los tratamientos disponibles varían según la región, distintas organizaciones elaboran guías diferentes, y la aplicación real también está influida por el contexto local
- NCCN es una alianza de 32 grandes centros oncológicos de Estados Unidos, y sus paneles multidisciplinarios por tipo de cáncer revisan y seleccionan la investigación más reciente para alcanzar consenso sobre enfoques de detección, diagnóstico, tratamiento y cuidados de apoyo
- El resultado, las NCCN Clinical Practice Guidelines in Oncology, se usa globalmente como un estándar amplio y muy adoptado para el tratamiento del cáncer
Problemas prácticos de la implementación basada en PDF
- Una página de la guía de cáncer de mama de NCCN puede incluir enlaces como BINV-6, y cada enlace lleva a una página aparte con su propio diagrama de flujo
- El médico debe ubicar la situación del paciente dentro del diagrama y, si aparece información desconocida como el estado HER2, pedir estudios o seguir varias páginas hasta llegar a una recomendación terapéutica
- Incluso usando la guía, la estandarización completa es difícil
- Puede haber varias opciones terapéuticas con niveles de evidencia similares
- La situación clínica relacionada con el tratamiento puede no estar enumerada explícitamente en la guía
- El médico todavía debe ejercer criterio, aunque el rango de decisiones posibles se reduce
- Centros de excelencia como Mayo Clinic o MD Anderson no solo cuentan con financiamiento, oncólogos altamente especializados y acceso a ensayos clínicos, sino también con procesos asistenciales sistemáticos y procedimientos para implementar guías
- En cualquier hospital, la atención puede desviarse de la guía
- Ej.: si en la historia clínica se pasa por alto que una paciente es posmenopáusica, podría recibir un tratamiento mejor respaldado para pacientes premenopáusicas
- Como los médicos atienden a cientos de pacientes, algunos criterios pueden omitirse aunque la guía esté disponible
- Mejorar los resultados en cáncer no solo depende de descubrir nuevos fármacos o perfeccionar técnicas quirúrgicas; cerrar las brechas en la atención basada en evidencia es un enfoque inmediato, generalizable y alcanzable
Las limitaciones de un árbol de decisión atrapado en PDF
- Las guías contienen cientos de miles de horas de trabajo de oncólogos especialistas, pero el producto final es un PDF denso y difícil de navegar
- Un oncólogo que ve un subtipo raro de cáncer de mama cada varios años debe encontrar la versión correcta del PDF, ubicar la sección correspondiente a las características del cáncer, seguir enlaces entre varias páginas y seguir rastreando los factores del paciente
- Como las guías se revisan continuamente y las nuevas versiones se distribuyen como PDF separados, es fácil perder actualizaciones o consultar una versión vieja enterrada entre documentos clínicos
- En esencia, las guías son un árbol de decisión, y el equipo redactor invierte mucho esfuerzo en organizar la evidencia en esa estructura
- Si existieran datos adecuadamente estructurados, una máquina podría interpretar la guía
- El sistema de registro clínico podría sugerir automáticamente los estudios diagnósticos necesarios para un paciente
- Podría mostrar alertas o un modal de “¿está seguro?” cuando un tratamiento se aparte de la guía
- El médico podría revisar la guía de una forma más rápida y natural en vez de buscar el PDF
- Las organizaciones que redactan guías deberían ofrecer, junto con el PDF descargable, un formato estructurado e interpretable por máquinas, e idealmente todas las instituciones y sistemas de datos de pacientes deberían poder interpretar el mismo formato
- Aun así, este enfoque basado en datos no forma parte del campo de especialización de las organizaciones redactoras
Herramienta piloto de guías estructuradas
- A partir de la experiencia de trabajar con oncólogos como ingeniero de software, se creó una herramienta de prueba de concepto para extraer de PDFs esos árboles de decisión a una estructura que las máquinas puedan entender
-
Diseño del esquema
- Primero se definió un esquema capaz de representar la mayor parte de la información de las guías de NCCN
- Aunque las guías parecen un árbol de información, algunas referencias pueden regresar hacia atrás, por lo que existen ciclos
- La guía completa de un tipo de cáncer se divide en varios grafos dirigidos separados entre sí
- Cada punto, como condiciones, características limitantes u opciones de tratamiento, se representa como un nodo, y las referencias bibliográficas y notas al pie asociadas también se guardan en el nodo
- Las flechas de los diagramas o las referencias entre páginas se representan como relaciones entre nodos
-
Extracción de datos
- En la primera etapa, un LLM recorre el documento y genera nodos de referencia para cada página de la guía
- Las referencias de página pasan a ser nodos padre de los nodos principales de cada página, y cuando otro nodo apunta a una página específica, apunta a ese nodo de página
- Después, el LLM lee la guía en pequeños grupos de páginas y, junto con las referencias de página, la extrae a una representación JSON del esquema
- Al aplicar este proceso a la guía de cáncer de mama de NCCN, se almacenaron nodos y relaciones en una base de datos y se generó un total de 271 nodos
-
Visualización
- Se creó un visor de grafos con la librería React Flow y se muestran las páginas que son nodos raíz, es decir, las que no tienen referencias entrantes
- Al hacer clic en un nodo aparecen sus nodos hijos, y el usuario puede seguir el flujo del nodo hacia abajo
-
Implementación del agente
- Se implementó un agente que recibe el historial del paciente y recorre el grafo
- Primero busca el nodo de nivel superior más cercano a la situación del paciente y luego elige, entre los nodos hijos, el que mejor coincide con el paciente
- Este proceso se repite hasta llegar a un nodo hoja o hasta que falte información para seguir avanzando
- La herramienta piloto está disponible aquí
Limitaciones y siguientes pasos
- Los datos de demostración no han sido revisados y contienen errores y omisiones, por lo que no deben usarse para decisiones clínicas
- Se invirtieron algunas horas en el proceso de extracción y menos tiempo en el agente, y con más trabajo se podría mejorar la precisión
- La precisión actual es de alrededor de 70–80%
- La extracción con LLM es una manera fácil de construir un prototipo y la revisión humana puede aumentar la confiabilidad, pero el enfoque ideal sería redactar las guías en formato estructurado desde el principio
- Los datos actuales siguen estando en un estado semiestructurado
- Información como relaciones causales y la forma de evaluar cada nodo todavía requieren comprender el lenguaje natural de cada nodo
- El trabajo futuro podría definir un esquema más estructurado y más fácil de evaluar
1 comentarios
Opiniones de Hacker News
Creo que el PDF es mejor. Es muy probable que una herramienta personalizada varíe según la clínica o el expediente médico electrónico, y que su mantenimiento también sea costoso.
Los PDF son malos en muchos sentidos, pero duran y son portables. Aunque trabajes con dos oncólogos, pueden usar el mismo PDF.
La intención del autor es buena, pero al final es probable que termine siendo una herramienta que solo él entiende, y que empeore por la enorme cantidad de excepciones.
No estoy intentando construir esto para vendérselo a instituciones médicas; quería mostrar qué se puede hacer con guías clínicas estructuradas. No veo por qué esto tendría que quedar atado a una clínica o a un expediente médico electrónico específicos.
Idealmente, las organizaciones que elaboran guías clínicas publicarían también una representación estructurada junto con el PDF. La herramienta de autoría podría exportar en ambos formatos, y los oncólogos podrían seguir usando el PDF mientras los sistemas aprovechan los datos estructurados.
Los oncólogos comunitarios tienen recursos tecnológicos limitados en comparación con los centros nacionales de cáncer. Si se les puede hacer la vida más fácil, sería algo bueno.
Dicho eso, también son buenos los documentos publicados como los PDF. Los sistemas suelen dificultar la comparación entre una versión de junio y una de septiembre.
Los sistemas tipo asistente ocultan la mayor parte de la información, pueden tener bugs desconocidos, dificultan revisar rutas alternativas, probablemente queden atados a usuarios registrados, y el sistema puede caerse.
Creo que sistemas informáticos mucho más inteligentes son el futuro de la medicina, pero dudo que empezar con otra herramienta personalizada solo para guías oncológicas sea lo correcto.
Esta idea no es nueva. Si buscas computable clinical guidelines, aparece mucha literatura académica relacionada, y este artículo es un buen punto de partida [1].
De hecho, ha habido intentos desde la década de 1970, y el famoso sistema experto MYCIN es un ejemplo representativo [2].
Como muestra la historia de MYCIN, este problema es mucho más sutil de lo que parece, y combina factores técnicos, psicológicos, sociológicos y económicos. Esa es también la razón por la que las guías oncológicas siguen en PDF.
Aun así, no hay razón para dejar de explorarlo. Que generaciones anteriores no lo hayan resuelto no significa que sea un problema irresoluble.
[1] https://pmc.ncbi.nlm.nih.gov/articles/PMC10582221/
[2] https://www.forbes.com/sites/gilpress/2020/04/27/12-ai-miles...
Además, convendría mirar la Developer API de NCCN. No tanto porque sea técnicamente interesante, sino porque muestra el entorno de propiedad intelectual.
https://www.nccn.org/developer-api
El punto central es que a los médicos les resulta difícil comprobar si sus recomendaciones realmente reflejan la investigación clínica más reciente.
También es importante que las ventajas que tienen los médicos de centros médicos prestigiosos que están en el centro de la investigación puedan estar disponibles para todos los médicos. A esto se le suele llamar el problema de difusión del conocimiento.
Actualmente, el mejor enfoque son las revisiones sistemáticas según los criterios de Cochrane [0]. Estas revisiones son intensivas en trabajo y se hacen con demasiada poca frecuencia, pero cuando se hacen bien son muy valiosas.
En estas revisiones también se revela con qué frecuencia se excluyen estudios publicados por motivos como sesgos o conjuntos de datos incompletos.
El enfoque de Geiger del enlace tiene una intención excelente, pero el resultado se topará con los mismos problemas que enfrentan las revisiones sistemáticas manuales.
Me pregunto si el autor consideró no solo enfoques de aprendizaje automático, sino también enfoques basados en reglas como las guías de Cochrane.
[0] https://training.cochrane.org/handbook
Las guías de NCCN y las revisiones Cochrane cumplen roles complementarios en la medicina. NCCN ofrece algoritmos prácticos y actualizados con frecuencia para el tratamiento del cáncer, basados en investigación y consenso de expertos, mientras que las revisiones Cochrane ofrecen análisis rigurosos de evidencia en toda la medicina, con un foco más fuerte en ensayos controlados aleatorizados.
Las guías de NCCN son más fáciles de aplicar de inmediato en la práctica clínica, y las revisiones Cochrane ofrecen un análisis más profundo sobre la calidad de la evidencia.
Mi objetivo principal era mostrar qué se puede hacer con cualquier guía médica bien estructurada. Los criterios se pueden elegir como uno quiera.
Algunos curiosos sí la siguen, pero la actitud general es que ya pasaron por una formación difícil, así que ya no necesitan hacerlo.
Decir que “la esencia de las guías clínicas es un árbol de decisión” es más bien una aspiración, y quizá ni siquiera ayude tomarlo como objetivo.
En las guías clínicas casi no hay datos que cubran todas las rutas de decisión posibles. Se reportan resultados bien respaldados, en algunos casos interpolados se ofrece la opinión de expertos, y para otros se enumeran los factores a considerar.
Si se reduce eso a un árbol de decisión, muchas ramas quedan vacías, y la mayoría de los especialistas puede identificar factores que deberían llevar a un árbol más complejo.
La razón es que esas ramas casi nunca son deterministas. Más bien se parecen a probabilidades cuánticas, en el sentido de que hay que sostener varias posibilidades al mismo tiempo, y solo después de que un tratamiento muestra efecto o fracasa la enfermedad —en este caso, el cáncer— revela su forma.
Hasta que se capture la verdadera estructura de información de las guías clínicas, estas se transmitirán como una descripción autorizada y educativa de la atención estándar.
En casi todos los casos, más que simplificarlas para aumentar la adopción o convertirlas en procedimientos operativos, es importante publicarlas más rápido y aumentar la transparencia agregando referencias.
La mayoría de los médicos en campos dinámicos no necesita simplificación. Superan la dificultad del material con disciplina personal y rigor a lo largo de toda la vida, y usan las guías clínicas principalmente como un marco de comunicación y exhaustividad para verificar si se abordaron las preocupaciones conocidas.
Las guías clínicas estructuradas sirven sobre todo para que observadores externos puedan mirar y controlar, y es probable que ese enfoque no sea productivo.
¿Por qué no está todo el conocimiento humano en un único archivo JSON gigante? Las guías clínicas sí son árboles de decisión, pero no están escritas para aplicarse mecánicamente. Porque no existen pacientes idénticos con el mismo cáncer idéntico bajo los supuestos del modelo.
Las guías clínicas no están pensadas para el médico rebelde de película que recorre en tiempo real un árbol de decisión en una carrera contra el tiempo frente al cáncer, sino para equipos clínicos altamente capacitados que colaboran entre sí de manera familiar. Ellos tienen la capacidad de detectar dónde la guía está equivocada o necesita ampliarse o modificarse.
Es decir, las guías clínicas son una abstracción del nivel actual de atención médica.
Sería bueno tratar estas guías como si fueran código fuente en algún sistema de control de versiones médico, para que subespecialistas y especialistas pudieran modificarlas o hacerles forks con facilidad. Pero las dependencias biológicas son mucho más complejas que las dependencias de silicio, y seguirán siendo más difíciles de discretizar por un buen tiempo.
No digo que la ambición del autor esté equivocada. Es muy buena. Solo creo que el avance en este campo es más fácil cuando ocurre dentro de los equipos involucrados. Lo que desde fuera del sistema parece conceptualmente simple solo se ve así por falta de resolución.
Si hay algo que quiero leer, es un documento en papel que se pueda buscar.
Es la misma razón por la que las hojas de datos siguen estando en PDF. Porque es un formato confiable, duradero y portable.
Es ridículo que en la práctica estemos imitando al papel, pero no hay otro formato que llene ese nicho.
Por su propósito original, HTML debería haber cumplido ese papel, pero durante los últimos 20 años aproximadamente el foco estuvo en todo menos en convertir HTML en un mejor formato de intercambio de información.
Ni siquiera hay una solución estándar para algo tan trivial como empaquetar documentos HTML complejos en un solo archivo. En las URL
file://las cookies no funcionan, y cosas muy básicas no funcionan o ni siquiera existen.En su lugar aparecen formatos derivados como ePUB, que en su mayoría son HTML, pero que en la práctica la mayoría de los navegadores no soporta.
En los últimos 10 años implementé dos veces este tipo de procedimientos informatizados en dos startups.
NCCN no quiere hacer eso.
Las guías de NCCN no están atrapadas en PDF, sino en la cabeza de los médicos.
Si las guías de NCCN entran como reglas informatizadas, esas reglas empiezan a dirigir de vuelta las guías. Eso se convierte en una segunda fuerza que aleja del fundamento científico.
Estoy totalmente de acuerdo en que hace falta sistematizar las reglas, pero eso debe estar completamente subordinado al conocimiento de frontera en cáncer, que cambia con extrema frecuencia.
Cada año, después de grandes congresos panoncológicos como ASCO y de congresos específicos por enfermedad, por ejemplo el San Antonio Breast Cancer Symposium, el conocimiento debe actualizarse; y si salen resultados importantes de ensayos clínicos antes de que termine el año, los médicos deben actualizar sus conocimientos mediante los ensayos más recientes y la educación continua. Esto es un cuerpo completo de conocimiento complementario a los límites que publica NCCN.
Desde mi experiencia de toda la vida trabajando entre ciencias de la computación y medicina, creo que los médicos pueden actualizar reglas mucho más rápido que los programadores y las bases de datos.
Prefiero que las guías de NCCN sigan abiertas en PDF, donde cualquiera puede seguir enlaces y verificarlas, en lugar de encerrarlas en código espagueti que solo unos pocos programadores entienden.
Edición: quizá cambie de opinión después de digerir este artículo durante una semana. Tal vez NCCN debería estandarizar las variables clínicas lo suficiente como para que convertirlas en reglas sea trivial. Pero las hipótesis de los ensayos clínicos tendrían que encajar dentro de esas reglas, y necesito pensarlo otra semana para ver si eso es posible.
Los árboles de decisión funcionan para tomar decisiones.
Pero no funcionan tan bien como otras técnicas de decisión. Los bosques aleatorios, los modelos lineales, las redes neuronales, etc., en esencia también son técnicas de decisión.
En sistemas complejos con muchos datos, es decir, la salud humana, los árboles de decisión tienen mal desempeño.
Entonces, ¿por qué usamos una técnica conocida por ser inferior solo porque es fácil de escribir en un PDF, fácil de razonar en una reunión y fácil de explicarle a alguien?
¿No deberíamos usar modelos matemáticos de vanguardia que den la mayor probabilidad de “curación”, aunque sean tan complejos que un humano no pueda entenderlos?
Si un modelo es tan complejo que un humano no puede entenderlo, será fantástico explicarlo en un tribunal cuando después se descubra que hubo fuga de datos u otro sesgo.
La práctica médica real interpola con frecuencia entre esos puntos de datos.
Como investigador del cáncer, diría que algunas ramas del árbol de decisión de las guías de NCCN se basan en estudios donde varias opciones fueron mejores que el placebo, pero no tuvieron diferencias estadísticamente significativas entre sí.
En esos casos, el clínico puede usar otros factores para decidir qué camino tomar. En cáncer de próstata, la cirugía y la radioterapia son el ejemplo clásico. Ambas son más o menos igual de efectivas, pero la experiencia que vive el paciente es muy distinta.
Es mucho más grave de lo que uno se imagina. Trabajé en una startup de salud que gestionaba el reclutamiento de pacientes para ensayos clínicos de oncología, y los obstáculos eran enormes.
Sinceramente, aunque los datos estuvieran en texto plano, no habría gran diferencia. Los códigos de diagnóstico varían de una institución médica a otra, la comprensión semántica de la información diagnóstica también varía según la institución, los expedientes médicos electrónicos son un desastre, y todo está escrito en lenguaje natural en lugar de estar en una estructura de datos.
Cualquiera que haya trabajado en software de salud podría contar muchas más historias de terror.
Espero que los modelos de lenguaje grandes ayuden a ordenar parte de esto, pero como sabe cualquiera que haya trabajado en software de salud, este no es un problema técnico sino un problema muy humano.
Aun así, hay un punto positivo. Mis colegas lograron avances importantes usando teoría de categorías y Prolog para descubrir un protocolo de ensayo oncológico de escalamiento de dosis 3+3 demostrablemente óptimo [1].
David dio una excelente charla al respecto en el meetup de Scryer Prolog en Viena [2].
Es sorprendente lo en la Edad Media que está la medicina. Aunque esta es la primera especificación ejecutable y programable para ensayos de cáncer 3+3, él todavía está batallando para convencer a sus colegas médicos y administradores de hospitales de que este es el ensayo óptimo. No es de sorprender, porque ellos no hablan el lenguaje del software ni de la estadística.
[1]: https://arxiv.org/abs/2402.08334
[2]: https://www.digitalaustria.gv.at/eng/insights/Digital-Austri...
https://jakeseliger.com/
https://github.com/Precisfice/DEDUCTION