Análisis de estados financieros con LLM

• Se investiga si los modelos grandes de lenguaje (LLM) pueden realizar con éxito análisis de estados financieros de manera similar a analistas humanos especializados
• Se proporcionaron a GPT-4 estados financieros estandarizados y anonimizados, y se le indicó al modelo que predijera la dirección de las ganancias futuras
• Hallazgos principales
  • Desempeño predictivo: los LLM superan a los analistas financieros en la predicción de cambios en las ganancias, incluso sin narrativa ni información específica de la industria
  • Ventaja relativa: los LLM muestran una ventaja relativa en situaciones donde los analistas tienen dificultades
  • Precisión de predicción: la precisión de las predicciones de los LLM es comparable al desempeño de modelos modernos de ML entrenados para tareas específicas
  • Insight narrativo: las predicciones de los LLM no provienen de memoria entrenada, sino que generan insights narrativos útiles sobre el desempeño futuro de la empresa
  • Estrategia de trading: una estrategia de trading basada en las predicciones de GPT ofrece un ratio de Sharpe y un alfa más altos que otras estrategias basadas en modelos

Opinión de GN⁺

• Potencial de los LLM: que los modelos grandes de lenguaje puedan superar a analistas humanos en análisis financiero podría traer cambios importantes a la industria financiera. Esto sugiere el potencial de avance de herramientas de análisis automatizado.
• Transparencia del modelo: el hecho de que los LLM ofrezcan insights narrativos implica que el proceso de predicción del modelo puede ser más transparente y fácil de entender. Esto puede ayudar a que los analistas financieros confíen en el modelo y lo utilicen.
• Utilidad de la estrategia de trading: que una estrategia de trading basada en GPT muestre alto rendimiento puede resultar muy atractivo para inversionistas. Sin embargo, esto no garantiza que las predicciones del modelo siempre sean correctas, por lo que se requiere un enfoque cauteloso.
• Consideraciones para adoptar la tecnología: la calidad de los datos y el proceso de entrenamiento del modelo son importantes. Además, es necesario revisar continuamente cómo se alinean las predicciones del modelo con las condiciones reales del mercado.
• Tecnologías y proyectos relacionados: otros proyectos que ofrecen funciones similares en análisis financiero incluyen AlphaSense, Kensho y herramientas de análisis basadas en GPT-3 de Bloomberg. Compararlos puede ayudar a entender con mayor claridad las ventajas y desventajas de los LLM.

[GN⁺]

Opiniones de Hacker News

• En la página 40, la Figura 3 compara un modelo de red neuronal de 3 capas que usa las 59 variables de predicción financiera de Ou y Penman (1989) con GPT (CoT), y GPT no muestra un rendimiento estadísticamente significativamente mejor.
• El mercado es importante, pero la especulación no es el propósito del mercado. Si quieres ganar dinero, es mejor capacitarte y obtener un buen salario. La especulación, vista desde la codicia, conlleva un alto riesgo de ruina. El sistema financiero es un juego de suma cero y las finanzas internacionales tienen muchos riesgos. Hay que cuidar a los amigos, maximizar la felicidad y actuar con honestidad y ética.
• Permitir que la ciudadanía haga preguntas significativas sobre las finanzas de los gobiernos locales podría generar el mayor cambio. Por ejemplo, en el condado de Cook, Illinois, numerosos municipios y autoridades electas elaboran informes financieros mensuales, pero falta supervisión ciudadana.
• Historia de la investigación: se comparan declaraciones de la gerencia, se cuentan palabras positivas/negativas para hacer análisis de sentimiento, y se construyen modelos de sentimiento en tiempo real usando Twitter y artículos de noticias. También se construyó un modelo de análisis de sentimiento con LLM (GPT2), pero su confiabilidad es baja porque la gerencia está entrenada para usar solo palabras positivas.
• Si se usan modelos LLM estandarizados, existe la posibilidad de que los informes financieros sean manipulados para hacer que los resultados del LLM parezcan más favorables.
• El diseño de la investigación no proporciona información textual. El principal interés es entender la capacidad del LLM para analizar y sintetizar cifras financieras puras. Esto se debe a que los LLM no realizan cálculos matemáticos, sino que funcionan prediciendo el siguiente token.
• Para quienes quieren vender wrappers de LLM: este campo es muy difícil. Se enfrentarán a problemas de datos, distribución y baja demanda. Los fondos que realmente usarían esto ya lo están usando.
• Se intenta entender la fuente de la capacidad predictiva de GPT. Se le indica al modelo que asuma el rol de analista financiero, calcule las principales razones financieras y ofrezca una interpretación económica. Sin embargo, los LLM no calculan, sino que funcionan prediciendo el siguiente token.
• Recuerdo el análisis de llamadas de resultados que presentó Greg Diamos en Lamini. Los enlaces relacionados pueden encontrarse en HuggingFace y GitHub.
• Habría sido interesante compararlo con modelos con ventanas de contexto más grandes (Gemini, Claude Opus). De lo contrario, sería mejor cambiar el título a "Análisis de informes financieros con GPT-4".