XrayGPT: Resumen de radiografías de tórax usando un modelo médico de visión-lenguaje (VLM)

• Investigación para analizar automáticamente radiografías de tórax
• Ajuste fino de Vicuna LLM con datos médicos (100 mil conversaciones reales entre pacientes y médicos) y 30 mil conversaciones de radiología
• Generación de resúmenes limpios en formato conversacional (~217k) a partir de datasets gratuitos de reportes radiológicos en texto (MIMIC-CXR y OpenI) para mejorar el rendimiento del LLM
• Alineación del codificador visual médico congelado (MedClip) con el LLM ajustado finamente (Vicuna) usando una transformación lineal simple

[cosine20]

Si tienes una radiografía de tórax, incluso puedes probar la demo tú mismo.