Predicción de series temporales a largo plazo con xLSTM: XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• En los últimos años, los modelos basados en transformadores han mostrado un rendimiento destacado en la predicción multivariante de series temporales a largo plazo (LTSF). Sin embargo, enfrentan problemas como altos requisitos computacionales, dificultades para capturar la dinámica temporal y para manejar dependencias de largo plazo
• La aparición de LTSF-Linear, con una estructura lineal simple, mostró un rendimiento superior al de los modelos basados en transformadores, lo que llevó a reevaluar la utilidad de los transformadores en la predicción de series temporales
• En respuesta, este artículo presenta los resultados de aplicar xLSTM, una arquitectura reciente de LSTM extendido, a LTSF. xLSTM incluye compuertas exponenciales y una estructura de memoria modificada de mayor capacidad, con potencial para adaptarse bien a LTSF
• xLSTMTime, la arquitectura LTSF adoptada por los autores, supera los enfoques actuales. Tras comparar el rendimiento de xLSTMTime con varios modelos de última generación en múltiples conjuntos de datos del mundo real, demuestra una capacidad de predicción superior
• Los resultados sugieren que las arquitecturas recurrentes refinadas pueden ofrecer una alternativa competitiva frente a los modelos basados en transformadores para tareas de LTSF, y que podrían redefinir el panorama de la predicción de series temporales

Resumen de GN⁺

• Este artículo introduce xLSTM para superar las limitaciones de los modelos basados en transformadores y muestra un rendimiento sobresaliente en la predicción de series temporales a largo plazo
• xLSTMTime demuestra una capacidad de predicción superior a la de los modelos existentes gracias a sus compuertas exponenciales y su estructura de memoria modificada
• Esta investigación vuelve a poner en foco el potencial de las arquitecturas recurrentes en la predicción de series temporales y propone una nueva alternativa frente a los modelos basados en transformadores
• Entre los proyectos con funciones similares se encuentran Prophet de Facebook y DeepAR de Amazon

[GN⁺]

Comentarios de Hacker News

• En los últimos años, los modelos basados en transformers han destacado en el pronóstico multivariante de series temporales a largo plazo
  • Pero no está claro que, en general, sean mejores que los modelos no basados en deep learning
• Trabajo construyendo modelos de nowcasting y pronóstico en economía (inflación, PIB, etc.) y finanzas (liquidez del mercado, etc.)
  • Coincido con la idea de que los modelos transformer son excelentes, pero que los modelos tipo LSTM siguen siendo muy útiles
• Me pregunto si esto está relacionado con el modelo de pronóstico del clima de Google que usa IA
  • Comparten el enlace al modelo Graphcast AI de Google
• Es una lástima que el enlace al dataset del paper no funcione
  • Ojalá lo arreglen
• Se está promocionando como una herramienta de pronóstico, pero me pregunto si no aplicaría también a la clasificación de eventos en series temporales
• Los mejores modelos de deep learning para series temporales se usan de forma privada dentro de los hedge funds
• El pronóstico de series temporales funciona mejor en dominios deterministas
  • Ninguna de las técnicas publicadas de LLM/IA/deep learning/machine learning funciona bien en el mercado de valores
  • He probado todas las técnicas y no he tenido éxito
• Si el método de pronóstico de series temporales de alguien funcionara, no lo habría publicado
• Lo leí mal como XSLT
• Ya me imagino a alguien perdiendo todo su dinero intentando predecir acciones con esta herramienta