배스토리

개념적인 내용은 이전 포스팅에 정리해두었습니다. 이 글에서는 1. LOF가 효과적으로 작동할 수 있는 샘플 데이터를 생성하고,2. PYOD 패키지를 이용해 이상탐지 시뮬레이션을 돌려보고,3. LOF 알고리즘을 직접 구현해 같은 데이터에 시뮬레이션해보기 까지 다루어 보겠습니다.   [Anomaly Detection] LOF (Local Outlier Factor) - 이론,개념이상탐지 방법론을 알아보는 첫번째 시간으로, LOF에 대해 공부한 내용을 정리해보려 한다. LOF는 한 문장으로 정리해보자면, 아래와 같다. LOF는 데이터 포인트의 국소적 밀도를 이웃과 비교하여soochan8.tistory.com   1. 샘플 데이터 생성  지난 포스팅에서 다룬 위와 같은 그림을 생성해보려고 한다.2차원 평면에서 ..

이상탐지 방법론을 알아보는 첫번째 시간으로, LOF에 대해 공부한 내용을 정리해보려 한다. LOF는 한 문장으로 정리해보자면, 아래와 같다. LOF는 데이터 포인트의 국소적 밀도를 이웃과 비교하여 상대적으로 밀도가 낮은 포인트를 이상치로 판단하는 고전적인 모형 기반, 밀도 기반, 비지도 학습 기반 이상 탐지 알고리즘이다.     원본 논문 링크https://dl.acm.org/doi/10.1145/342009.335388 LOF | Proceedings of the 2000 ACM SIGMOD international conference on Management of dataAbstract Detecting outliers in data is essential in various fields, such ..

2024-2학기에 처음으로 학부연구생 프로그램에 참여하며 Anomaly Detection에 대해 공부할 기회가 있었다. 블로그에 활동 내용을 올려도 될까 여쭤보니 교수님께서 흔쾌히 허락해 주셔서, 한 학기 동안 공부했던 내용을 정리해 업로드해보려 한다.  이상탐지(Anomaly Detection)란 무엇인가?이상탐지는 데이터에서 정상 샘플과 비정상 샘플을 구분하는 문제를 말한다. 일반적으로 비정상 샘플은 전체 데이터 중 매우 적은 비율을 차지하며, 이를 클래스 불균형(Class Imbalance) 문제라고 한다. 이러한 특성 때문에 이상탐지를 하는 방법론은 기존의 분류문제와는 다른 접근법을 요구한다.  이상탐지 문제 vs 분류 문제분류분류는 여러 클래스 중 하나를 예측하는 문제이다. 예를 들어, A 설비..