배스토리

https://soochan8.tistory.com/12 PCA(Principal Component Analysis) 이상탐지 - 개념, 수식앞선 포스팅에서 One Class / 재구축오차 기반 이상탐지 알고리즘의 개요에 대해 다루었다.   One Class / Reconstruction Error based 이상탐지 알고리즘? (+ 이상탐지에서의 Supervised, Unsupervised Learning)재구soochan8.tistory.com  PCA는 파이썬의 scikit-learn 라이브러리에 잘 구현되어 있다. 보통은 그냥 딸깍 해서 쓰면 되지만, 처음 배울 때 확실히 이해했는지 확인해보고 싶다면 numpy정도만 사용해 직접 구현을 해 보시는 것을 추천한다. 이해했다고 생각했지만 구현하면서 알..

앞선 포스팅에서 One Class / 재구축오차 기반 이상탐지 알고리즘의 개요에 대해 다루었다.   One Class / Reconstruction Error based 이상탐지 알고리즘? (+ 이상탐지에서의 Supervised, Unsupervised Learning)재구축 오차 기반 이상 탐지 알고리즘이상 탐지를 공부하기 전까지는 잘 몰랐던 개념이다. 이 방법은 정상 데이터만을 학습에 사용해, 정상 데이터의 특징을 학습하고 정상과 다른 패턴이 발견soochan8.tistory.com 이번 포스팅에서는 고전적인 선형 차원축소 방법인 PCA (Principal Component Analysis) 기반 이상 탐지를 다루어 보겠다. 앞선 포스팅에서 언급했듯, PCA를 이용한 이상탐지는 데이터를 차원 축소하여..

재구축 오차 기반 이상 탐지 알고리즘이상 탐지를 공부하기 전까지는 잘 몰랐던 개념이다. 이 방법은 정상 데이터만을 학습에 사용해, 정상 데이터의 특징을 학습하고 정상과 다른 패턴이 발견되면 이를 이상치로 판단하는 방식이다. 구체적으로는,정상 데이터는 낮은 이상치 스코어 (Anomaly Score) 를 기록하고,이상치 데이터는 높은 이상치 스코어를 기록하도록 설계된다.이러한 이상치 스코어를 기준으로 데이터를 분류하게 된다.  재구축 오차 기반 이상 탐지의 개념본격적으로 PCA나 AutoEncoder를 이용한 이상 탐지 알고리즘을 정리하기 전에, 이 두 가지를 포괄하는 재구축 오차 기반 이상 탐지 알고리즘 (Reconstruction Error-Based Anomaly Detection Algorithm) ..

딥러닝의 심장, 역전파 알고리즘 (Backpropagation)딥러닝의 원리를 이해하는 데 있어 반드시 역전파 알고리즘(Backpropagation)을 거쳐가야만 합니다. 처음에는 난해할 수 있지만 의미를 알게 된다면 생각보다 간단하답니다.  1. Backpropagation 개요역전파 알고리즘은 신경망에서 발생한 오차를 출력층에서 입력층으로 역방향으로 전달하며 가중치를 업데이트하는 과정입니다. 목표는 예측값과 실제 값 사이의 차이를 최소화하는 방향으로 가중치를 조정하는 것입니다. 이를 위해 손실 함수(Loss)를 모든 가중치에 대해 편미분하고, 그 결과를 이용해 가중치를 업데이트합니다. 특히 깊은 층의 가중치를 조정하는 것은 복잡하지만, 체계적인 계산 방법을 통해 해결할 수 있습니다.   2. 그라디언..

개념적인 내용은 이전 포스팅에 정리해두었습니다. 이 글에서는 1. LOF가 효과적으로 작동할 수 있는 샘플 데이터를 생성하고,2. PYOD 패키지를 이용해 이상탐지 시뮬레이션을 돌려보고,3. LOF 알고리즘을 직접 구현해 같은 데이터에 시뮬레이션해보기 까지 다루어 보겠습니다.   [Anomaly Detection] LOF (Local Outlier Factor) - 이론,개념이상탐지 방법론을 알아보는 첫번째 시간으로, LOF에 대해 공부한 내용을 정리해보려 한다. LOF는 한 문장으로 정리해보자면, 아래와 같다. LOF는 데이터 포인트의 국소적 밀도를 이웃과 비교하여soochan8.tistory.com   1. 샘플 데이터 생성  지난 포스팅에서 다룬 위와 같은 그림을 생성해보려고 한다.2차원 평면에서 ..

이상탐지 방법론을 알아보는 첫번째 시간으로, LOF에 대해 공부한 내용을 정리해보려 한다. LOF는 한 문장으로 정리해보자면, 아래와 같다. LOF는 데이터 포인트의 국소적 밀도를 이웃과 비교하여 상대적으로 밀도가 낮은 포인트를 이상치로 판단하는 고전적인 모형 기반, 밀도 기반, 비지도 학습 기반 이상 탐지 알고리즘이다.     원본 논문 링크https://dl.acm.org/doi/10.1145/342009.335388 LOF | Proceedings of the 2000 ACM SIGMOD international conference on Management of dataAbstract Detecting outliers in data is essential in various fields, such ..

2024-2학기에 처음으로 학부연구생 프로그램에 참여하며 Anomaly Detection에 대해 공부할 기회가 있었다. 블로그에 활동 내용을 올려도 될까 여쭤보니 교수님께서 흔쾌히 허락해 주셔서, 한 학기 동안 공부했던 내용을 정리해 업로드해보려 한다.  이상탐지(Anomaly Detection)란 무엇인가?이상탐지는 데이터에서 정상 샘플과 비정상 샘플을 구분하는 문제를 말한다. 일반적으로 비정상 샘플은 전체 데이터 중 매우 적은 비율을 차지하며, 이를 클래스 불균형(Class Imbalance) 문제라고 한다. 이러한 특성 때문에 이상탐지를 하는 방법론은 기존의 분류문제와는 다른 접근법을 요구한다.  이상탐지 문제 vs 분류 문제분류분류는 여러 클래스 중 하나를 예측하는 문제이다. 예를 들어, A 설비..