시계열 이상 탐지: 10년간의 리뷰

Hacker News 의견

• UCR Matrix Profile는 시간 시계열 분석에서 매우 효율적인 도구임. 모티프와 이상치를 찾는 데 있어 전통적인 기법과 달리 창 크기와 임계값을 조정할 필요가 없으며, 제조 센서 데이터부터 ECG 분석, 지진 탐지까지 다양한 분야에서 활용 가능함

• Prometheus의 offset 기능을 사용하여 주간 평균을 기록 규칙으로 설정함. 주간 주기로 변동하는 시스템에서 특정 지표의 평균을 계산하고 현재 값과 비교하여 동적 임계값을 설정함. Gitlab에서 이 방법에 대한 자세한 설명을 제공함

• 최근 몇 년간의 작업을 반영하지 않음. Granite TS라는 시계열 기반 모델이 잘 작동했으며, 이상치 모델이 다음 N 단계를 예측하고 실제 측정값이 예상과 얼마나 다른지를 확인하는 방식으로 작동함

• 물 기술 분야에서 IoT 장치가 물 흐름을 모니터링하고 누수를 감지하며, 기기별 물 소비량을 추정함. 누수 감지는 시계열 이상치를 식별하는 것이며, 계절에 따라 파이프 온도 변화로 인해 여러 분포가 필요할 수 있음

• 성능 추적 프로젝트에서 이상치 감지를 시도했으나, 적절한 오픈 소스 또는 유료 솔루션이 부족함. 이 분야에 많은 기회가 있음

• 데이터 생성의 복잡성과 측정 시스템의 불완전성, 악의적 행위자와의 상호작용으로 인해 비정상적인 현상이 발생함. 이러한 비정상적인 이벤트는 수집된 데이터에서 이상치로 나타남

• 산업 기계의 시계열 이상치 감지를 위한 스타트업을 운영 중이며, 오프라인으로 작동하는 솔루션을 개발함. 보안에 민감한 산업 소프트웨어에 관심이 있다면 연락 바람

• Eamonn Keogh의 TSAD 관련 연구가 흥미로움

• SVM이 "Distribution-Based"로 분류된 이유에 대해 혼란스러움. 일반적으로 모델 자유 밀도 추정이나 모델 기반 분포를 추정하지 않음

• 10년 전 석사 과정에서 온라인 실패 예측 시스템을 구축했으며, 예외가 발생하기 전에 감지하고 대응하는 시스템을 개발함. 이 분야에 할 일이 많았으나 다시 작업하지 못해 아쉬움