TimeGPT-1
(arxiv.org)- TimeGPT es un modelo fundacional de series temporales que predice datos de series temporales de múltiples dominios sin entrenamiento adicional
- Frente a los enfoques estadísticos, de machine learning y de deep learning existentes, propone una aproximación que mejora a la vez el rendimiento, la eficiencia y la simplicidad en inferencia zero-shot
- La predicción de series temporales es una base clave para ámbitos donde se necesitan decisiones futuras, como finanzas, salud, clima, ciencias sociales, demanda eléctrica y planificación de capacidad de servidores, trabajadores y máquinas
- En el campo tradicional de predicción de series temporales, el consenso práctico sobre la efectividad del deep learning ha sido débil, y han faltado modelos preentrenados de propósito general tan ampliamente reconocidos como en lenguaje o percepción
- Plantea la posibilidad de que los modelos preentrenados de propósito general aumenten la accesibilidad a predicciones precisas y reduzcan el tiempo y la complejidad computacional
La dirección de modelo que propone TimeGPT
- TimeGPT es un modelo fundacional para series temporales capaz de generar pronósticos incluso sobre distintos conjuntos de datos no vistos durante el entrenamiento
- Su punto clave es la inferencia zero-shot, que permite hacer pronósticos en múltiples dominios y aplicaciones sin entrenamiento adicional
- Un modelo general preentrenado puede transformar la práctica de la predicción de series temporales hacia un enfoque más accesible y preciso, reduciendo de forma importante el tiempo requerido y la complejidad computacional
Áreas donde se usan las series temporales
- Una serie temporal es un conjunto de datos ordenado cronológicamente, y se utiliza en sistemas, empresas e instituciones como base para evaluar estados futuros
- Los casos de uso abarcan múltiples áreas
- Comprender ciclos y tendencias económicas
- Identificar patrones de consumo de los consumidores
- Optimizar la demanda eléctrica para la generación de energía y la gestión de la red
- Ajustar capacidad e infraestructura de servidores, trabajadores y máquinas
- Medir mareas oceánicas y seguir el precio de cierre diario del Dow Jones
- En finanzas, salud, clima y ciencias sociales, identificar patrones temporales, tendencias y variaciones periódicas es importante para predecir valores futuros y tomar decisiones
Limitaciones de los métodos de predicción existentes
- El campo de predicción de series temporales no ha alcanzado un nivel de consenso ampliamente aceptado como el de los modelos generativos en lenguaje y percepción
- La evaluación práctica sobre la eficacia del deep learning en tareas de predicción sigue dividida entre los especialistas
- La investigación existente en predicción aún no ha cumplido plenamente el nivel prometido por un verdadero modelo preentrenado de propósito general
Resultados de evaluación e implicaciones
- TimeGPT fue evaluado en comparación con modelos estadísticos tradicionales, modelos de machine learning y modelos de deep learning
- Los resultados muestran que la inferencia zero-shot de TimeGPT preentrenado destaca en rendimiento, eficiencia y simplicidad
- Se utiliza como base para aplicar a la analítica de series temporales los aprendizajes obtenidos de los avances en otras áreas de la IA
- Los modelos de series temporales a gran escala pueden convertirse en una oportunidad para ampliar el acceso a pronósticos más precisos y reducir la incertidumbre
1 comentarios
Opiniones en Hacker News
He trabajado bastante tiempo con pronósticos de series temporales, pero todavía no le encuentro utilidad a estos modelos de deep learning especializados en series temporales
En datos de muy alta dimensionalidad, por ejemplo al modelar detección de fraude en una empresa procesadora de pagos con tarjeta, el deep learning lleva la ventaja. Pero casi nunca vi beneficios en usar un modelo separado de “series temporales” que trate el tiempo de forma distinta a las demás características
Probé N-BEATS, N-HiTS y casi todas las variantes de RNN que estuvieron de moda antes de los transformers, que afirmaban tener rendimiento de punta, pero no lograron superar a un MLP con valores rezagados como características. Al hablar con otras personas del área de pronósticos, dicen haber visto los mismos resultados
En datos de dimensionalidad media, LightGBM/XGBoost es abrumadoramente bueno y, por lo general, rinde igual o mejor que cualquier modelo de deep learning, con mucho menos ajuste fino y un tiempo de cómputo ínfimo
En datos de baja dimensionalidad no hay suficientes datos, así que hay que estructurar el modelo con intuición humana; por eso (V)ARIMA/ETS/modelos factoriales siguen siendo los más fuertes
Por eso soy muy escéptico ante la afirmación de que exista un modelo de “series temporales” de alto rendimiento y uso general. A diferencia de los modelos de lenguaje, entrenar con series temporales solo permite que el modelo entienda de forma limitada la estructura fundamental de cómo funciona el mundo, por lo que su capacidad de generalización también necesariamente será muy limitada
Y también me interesa cómo se usan modelos como XGBoost en pronósticos multietapa, cuando hay que predecir varios pasos hacia adelante
¿Cómo se compara el enfoque de poner características rezagadas en un MLP con usar longitudes de secuencia más largas en la atención de un transformer? Me da curiosidad si meter 128 valores rezagados en una red neuronal feedforward también da buenos resultados
También llegué a esa conclusión cuando experimentaba con varios algoritmos de machine learning y construía un bot de trading inteligente https://github.com/asavinov/intelligent-trading-bot
Dicho eso, hay casos en los que los transformers pueden aportar una gran ventaja. Pueden ser útiles cuando se combina el pronóstico numérico con análisis de eventos discretos y el orden de los eventos es importante, o cuando importan ciertos patrones que se buscan en el análisis técnico. En esos casos se necesitan muchos más datos
Lo que sí es seguro es que van a aparecer montones de analistas de gráficos vendiendo predicciones de mercado basadas en GPT
Creo que un modelo de series temporales con un corpus de entrenamiento lo suficientemente grande podría manejar bastante bien particularidades típicas como estacionalidad, shocks y valores atípicos
Estoy totalmente de acuerdo con la situación hasta ahora, pero me entusiasma que profesionales prueben modelos como el que se presenta aquí. Podría funcionar de verdad
No, los transformers no son una solución universal
Aunque los transformers parezcan aproximadores de funciones de propósito general de última generación, hay que entender por qué funcionan tan bien en lenguaje y visión
Los transformers se paralelizan muy bien y aprenden representaciones intermedias sofisticadas. En el espacio, los conceptos semánticos empiezan a separarse con claridad, también detectan separadores de forma natural y aprenden a manejar elementos como líneas, curvas, colores y orejas de perro. Las últimas capas combinan estos conceptos sofisticados para aprender conceptos de alto nivel como perro/gato/blog
Pero los transformers, y más ampliamente los métodos de deep learning en general, no funcionan bien porque todavía no han logrado extraer nuevas representaciones intermedias de los datos de series temporales
Incluso visto superficialmente, ¿cómo habría que manejar la “ventana de tokens”? En los términos más simples, modelar series temporales consiste en identificar patrones repetitivos con ciclos de vida muy distintos entre sí, condicionados a ciertas observaciones del mundo. Para abordar el problema desde el inicio, el modelo debería poder razonar de forma natural en unidades de años, días y segundos al mismo tiempo. Curiosamente, quizá el paper de la semana pasada del MIT sobre LLMs en streaming ayude en esto
En segundo lugar, incluso en el mejor de los casos, la mejora parece mínima. Si se propone un cambio enorme de arquitectura y se eliminan la observabilidad y la explicabilidad, hacen falta resultados realmente abrumadores
De hecho, si alguien encontrara una técnica revolucionaria para pronosticar series temporales, sería una tontería contárselo a otros antes de ganar sus primeros 1.000 millones de dólares en el mercado. Creo que también sería una tontería detenerse en 1.000 millones. Si se pudiera resolver, el pronóstico de series temporales sería el problema con mayor recompensa económica. Si se publicó en un paper, esperaría que eso en sí ya fuera decepcionante
Basta con recorrer todas las máquinas de Turing universales monótonas cuya cinta de entrada esté compuesta por la concatenación de todos los datos recopilados posibles y la serie temporal de interés. Se saltan los programas que tarden demasiado, se conservan solo los demás programas que reproduzcan la secuencia de entrada y luego se construye una distribución de probabilidad para el siguiente bit de salida ponderada por 2^- según el tamaño del programa
¿Qué tiene de difícil?
En el sector del trading de alta frecuencia ya llevan bastante tiempo aplicando exitosamente deep learning a datos de mercado. Cubren todo, desde capturas de paquetes y ticks hasta velas
¿Por qué alguien revelaría cómo un equipo de 50 quants/ingenieros de software/traders genera más de 1.000 millones de dólares de ganancias al año?
En el pronóstico estándar de series temporales, esas características suelen ser cosas como “los patrones periódicos continúan” o “los patrones de crecimiento continúan”
Un transformer entrenado con datos de lenguaje, en esencia, aprende a pronosticar series temporales en las que aparecen una gran variedad de características complejas que afectan lo que sigue. Los datos de lenguaje son tan complejos y variados que para continuar un texto hace falta aprendizaje en contexto: la capacidad de encontrar rasgos comunes en cualquier tipo de cadena de símbolos y usarlos para continuarla
Dentro de los datos de lenguaje también puede haber enormes hojas de Excel con datos variados, como precios de acciones o registros meteorológicos. Por eso es plausible que el aprendizaje en contexto se vuelva muy potente, hasta el punto de poder continuar series temporales en zero-shot
Más aún, creo que los datos de lenguaje y la arquitectura transformer tienen el potencial de lograr comportamientos parecidos a una verdadera inteligencia general gracias al aprendizaje en contexto. Es reconocimiento general de patrones. Los datos de lenguaje son lo bastante complejos como para que el descenso de gradiente estocástico termine conduciendo necesariamente al reconocimiento general de patrones y a la continuación de secuencias
Todavía estamos en los comienzos, y ahora estamos concentrados en el fine-tuning, que rompe el aprendizaje en contexto. Pero pronto entrenaremos transformers enormes con todas las modalidades, con todas las cadenas de símbolos que podamos encontrar
Dicho eso, el video al final parece visión apilada en capas. ¿Por qué la visión de cuadros no podría funcionar de manera similar a la visión? La respuesta actual es que no funciona, pero me pregunto si es algo que las redes neuronales no pueden hacer o si todavía no hemos encontrado la forma correcta de modelarlo
No entiendo la parte que dice que “los modelos populares como Prophet [Taylor y Letham, 2018] y ARIMA se excluyeron del análisis por sus requisitos computacionales excesivos y largos tiempos de entrenamiento”
Me pregunto si alguien con mucha experiencia en pronóstico de series temporales podría explicarlo con más detalle.
He usado ARIMA para cosas simples. No entiendo por qué entrenarlo y ejecutarlo sería más caro que un modelo transformer y, aunque fuera cierto, ARIMA se usa tanto que habría sido útil comparar recursos y tiempo.
Si no, suena como texto de ventas, como si lanzaran siglas crípticas para marketing del tipo “yo soy el experto, abc xyz, acrónimos de la industria”.
Para responder a una preocupación válida: hay varias razones por las que el costo computacional es alto. Primero, ARIMA y otros métodos “estadísticos” son modelos locales, así que hay que entrenar un modelo distinto para cada serie temporal. En cambio, los modelos de machine learning y deep learning son modelos globales, por lo que usan “un” solo modelo para todas las series temporales.
Segundo, ARIMA suele no rendir bien en conjuntos diversos de series temporales como los de este experimento. AutoARIMA es una mejor opción, pero considerando la cantidad y la longitud de las series temporales, el tiempo de entrenamiento aumenta mucho. Además, AutoARIMA tiende a volverse muy lento en series temporales largas.
En resumen, aplicar ARIMA a las 500 mil series temporales usadas en el benchmark literalmente habría tomado semanas y habría costado muchísimo.
Por eso incluimos varios modelos “estadísticos” locales con buen rendimiento, como Theta y CES. Para todas las líneas base usamos implementaciones de nuestro ecosistema open source, incluidas StatsForecast, MLForecast y Neuralforecast. Pronto publicaremos un conjunto de experimentos reproducibles sobre un subconjunto más pequeño.
Si se excluye una técnica de pronóstico de los años 70 por “tiempos de entrenamiento largos”, cuesta tomar en serio este paper.
Se pueden encontrar algunas excusas para excluir ARIMA. En la práctica, para que funcione bien hay que incorporar información previa importante sobre la serie temporal, por ejemplo estacionalidad o corrección de puntos de cambio.
Pero “carga computacional excesiva y largo tiempo de entrenamiento” no aplica.
Esa parte suena un poco pretenciosa, pero el resto del paper, especialmente la capacidad zero-shot, es muy interesante si se confirma. Espero que se vuelva más accesible que una API de tipo “contáctenos”, para poder compararlo directamente con ARIMA y otros métodos.
Tiene muchos defectos y limitaciones, pero la eficiencia computacional no es un problema.
Este paper tiene un contenido extremadamente pobre. Prácticamente no hay información sobre lo importante, y apenas hace gestos hacia la arquitectura y los datos.
En cambio, ocupa espacio con cosas como la fórmula de MAE o diagramas que explican los conceptos de entrenamiento e inferencia. Está lleno de señales de alerta.
Soy Max, de Nixtla. No esperaba que esto recibiera tanta atención, y me alegra ver tanto las reacciones positivas como las críticas.
Quiero aclarar algunos puntos importantes.
El objetivo principal de esta primera versión del paper es presentar TimeGPT-1 y mostrar resultados preliminares de experimentos a gran escala, demostrando que el aprendizaje por transferencia a esta escala también es realmente posible en series temporales. Como mencionamos en el paper, creemos firmemente que los modelos preentrenados pueden ser una solución muy eficiente en términos de recursos computacionales para muchas aplicaciones. Además, esta versión es una prepublicación. Estamos trabajando para publicar un conjunto de experimentos reproducibles sobre parte de los datos, así que les pedimos un poco de paciencia.
Todo el trabajo previo de Nixtla ha sido open source, y creemos que TimeGPT puede convertirse en un producto comercial viable que ofrezca pronóstico y detección de anomalías de forma inmediata a profesionales. Omitimos algunos detalles interesantes porque constituyen una ventaja competitiva para hacer crecer la empresa, ofrecer mejores soluciones y seguir construyendo el ecosistema.
Como dijeron otras personas en este hilo, estamos trabajando para incorporar a la prueba gratuita a la mayor cantidad posible de gente, para que más profesionales independientes puedan validar la precisión en sus propios casos de uso. También pueden ver las primeras impresiones del creador de Prophet https://x.com/seanjtaylor/status/1694745912776749296?s=20, la reacción del creador de GluonTS https://www.linkedin.com/posts/tim-januschowski_foundational... y las pruebas iniciales realizadas por la gente de H20 https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Espero que pronto aparezcan más benchmarks independientes.
Cuando en la academia advierten que “la revisión por pares importa” y que “si no eres experto en el área, no leas prepublicaciones de arxiv”, se refieren exactamente a cosas como esta.
La frase “La incertidumbre es un aspecto esencial de la vida y una constante que los humanos han intentado atravesar y comprender incansablemente” está medio rara.
Está bien hacer algo con sinceridad, pero si van por ese camino, al menos deberían ser más poéticos que un documental de la BBC.
¿Parece relacionado?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Esto parece material de marketing para el producto https://www.nixtla.io/.
Ojalá me equivoque, pero parece ser apenas alrededor de 20~30% mejor que el modelo Seasonal Naive. Con eso, no parece tan útil.
El hecho de que sea zero-shot definitivamente es impresionante, pero no parece que en la práctica se pueda hacer mucho con eso.