이상탐지 2

이상탐지 분야 LOF 알고리즘

LOFLocal Outlier Factor는 데이터 분석 및 머신러닝에서 사용되는 비지도 학습 알고리즘으로, 데이터 포인트가 해당 포인트의 근처에 있는 다른 데이터 포인트와 비교하여 얼마나 이상적인지(또는 비정상적인지)를 평가합니다.import matplotlib.pyplot as pltimport numpy as npfrom sklearn.neighbors import LocalOutlierFactor# Generate sample datanp.random.seed(42)X_inliers = 0.3 * np.random.randn(100, 2)X_outliers = np.random.uniform(low=-4, high=4, size=(20, 2))X = np.r_[X_inliers + 2, X_inl..

Machine Learning 2024.06.08

이상치(Outlier), 이상(Abnormal) 비교

이상치(Outlier)- 데이터 노이즈- 데이터 범위에서 많이 벗어난 값- 오해를 발생할 수 있기 때문에 사전에 제거 필수- 분석 대상이 아님이상(Abnormal)- 이상치와 다르게 데이터 노이즈가 아님- 문제 해결의 관점으로 바라볼 수 있음- 정상적인 범주에 데이터라도 이상으로 정의- 문제 발생 가능성이 높음- 일반적으로 자주 발생하지 않는 패턴이 이상일 확률이 높음- Thresh Hold 필수이상 탐지(Anomaly Detection)- 이상이라고 정의한 사건 및 패턴을 탐지하는 분야- 기업에서 이상 탐지를 하는 목적1. Risk 사전 방지2. 비정상적인 거래 및 사기 방지 및 사후 보호3. 버그 유저 탐지 및 비정상 유저 탐지이상 탐지 종류데이터 유형에 따라 이상 탐지 종류는 다양합니다- Point..

Machine Learning 2024.06.05