-
Detección de anomalías en series de tiempo: revisión de 10 años
-
Con el desarrollo de la tecnología de recolección de datos y el aumento de datos en streaming, la necesidad de analizar series de tiempo ha quedado en evidencia. Como resultado, la detección de anomalías en series de tiempo se ha consolidado como una actividad importante en ciberseguridad, mercados financieros, aplicación de la ley y salud, entre otros ámbitos.
-
La literatura tradicional sobre detección de anomalías se centró en métricas estadísticas, pero los algoritmos de aprendizaje automático que se han incrementado en los últimos años exigen atributos más estructurados y generales para los métodos de investigación en detección de anomalías en series de tiempo.
-
Esta revisión clasifica y resume las soluciones existentes de detección de anomalías mediante una taxonomía centrada en procesos en el contexto de series de tiempo. También ofrece una clasificación novedosa de los métodos de detección de anomalías, realiza un metaanálisis de la literatura y resume las tendencias generales de la investigación en detección de anomalías en series de tiempo.
-
1 comentarios
Opinión de Hacker News
La UCR Matrix Profile es una herramienta muy eficiente para el análisis de series temporales. A diferencia de las técnicas tradicionales para encontrar motivos y anomalías, no requiere ajustar el tamaño de la ventana ni el umbral, y puede aplicarse en muchos campos, desde datos de sensores de fabricación hasta análisis de ECG y detección de sismos.
Usé la función offset de Prometheus para establecer la media semanal como regla de grabación. En un sistema con variaciones semanales, se calcula el promedio de una métrica y se compara con el valor actual para configurar un umbral dinámico. Gitlab ofrece una explicación más detallada de este enfoque.
No refleja el trabajo de los últimos años. El modelo basado en series temporales llamado Granite TS funcionó muy bien; el modelo de anomalías predice los próximos N pasos y luego verifica cuánto difieren las mediciones reales de la predicción esperada.
En el ámbito de la tecnología del agua, los dispositivos IoT monitorean el flujo de agua, detectan fugas y estiman el consumo de agua por dispositivo. La detección de fugas consiste en identificar anomalías en la serie temporal, y pueden requerirse múltiples distribuciones debido a cambios estacionales en la temperatura de las tuberías.
Probé detección de anomalías en un proyecto de seguimiento de rendimiento, pero no había una solución abierta o de pago adecuada. Hay muchas oportunidades en este campo.
Las anomalías ocurren por la complejidad de la generación de datos, la imperfección de los sistemas de medición y la interacción con actores maliciosos. Estos eventos anómalos aparecen como valores atípicos en los datos recopilados.
Estoy operando una startup de detección de anomalías de series temporales para maquinaria industrial y hemos desarrollado una solución que funciona offline. Si te interesa software industrial sensible a la seguridad, contáctame.
La investigación de TSAD relacionada con Eamonn Keogh fue interesante.
Me confunde por qué SVM se clasifica como "Distribution-Based". En general, no suele estimar una densidad sin modelo ni una distribución basada en modelo.
Hace 10 años, cuando estaba en mi maestría, construí un sistema de predicción de fallas en línea y desarrollé uno para detectar y responder antes de que ocurriera una excepción. Había mucho trabajo que hacer en este campo, y me hubiera gustado retomarlo.