閾値
ホテリング法を用いた外れ値検出を、ホテリングのT二乗法と言いう
閾値のパラメータである誤報率は人間が設定する。
厳しく異常と判断する場合は誤報率を高くし、
やさしめにしたければ誤報率を低くする
値は一般的に0.05や0.01が使われる
データ量が十分あれば、ホテリング法で近似的にχ二乗検定で閾値設定が可能
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
from scipy import stats as st # 異常度a, 次元数df, 誤報率f1 a = 10 df = 4 f1 = 0.05 # 閾値の計算 threshold = st.chi2.ppf(1 - f1, df) # 閾値を越えているか判断 if threshold > a: print('normal') else: print('abnormal') |
標本値計算
閾値を設定後データから平均値と共分散行列を算出。
この2つを異常度の計算に使用する。
データdataがベクトルで与えられている際の平均値mean
mean = np.mean(data, axis=0)
cov
cov = np.cov(data.T)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
import numpy as np data = np.array([ [15, 16, 6, 5], [11, 19, 7, 3], [15, 19, 5, 7], [15, 17, 0, 6], [17, 21, 3, 7], [14, 15, 4, 5], [18, 24, 12, 6], [18, 17, 4, 7], [14, 17, 11, 6], [19, 23, 11, 6] ]) # 平均値 mean = np.mean(data, axis=0) # 共分散行列 cov = np.cov(data.T) print("平均値:\n" + str(mean)) print("共分散行列:\n" + str(cov)) |
|
1 2 3 4 5 6 7 |
平均値: [ 15.6 18.8 6.3 5.8] 共分散行列: [[ 5.82222222 4.02222222 1.91111111 2.13333333] [ 4.02222222 9.06666667 6.51111111 0.73333333] [ 1.91111111 6.51111111 15.56666667 -0.71111111] [ 2.13333333 0.73333333 -0.71111111 1.51111111]] |
異常度の計算
異常度としてマハラノビス距離を算出
計算にはscipy.spatialのdistanceを使用
距離を出したいデータxに対し、
mahalanobisは上記のmean、covを用いて
maharanobis = distance.mahalanobis(x, mean, np.linalg.pinv(cov))
で計算
この結果と閾値を比較して、異常かどうかを判断
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
import numpy as np from scipy.spatial import distance data = np.array([ [15, 16, 6, 5], [11, 19, 7, 3], [15, 19, 5, 7], [15, 17, 0, 6], [17, 21, 3, 7], [14, 15, 4, 5], [18, 24, 12, 6], [18, 17, 4, 7], [14, 17, 11, 6], [19, 23, 11, 6] ]) x = [7, 10, 16, 10] # 平均値、共分散行列 mean = np.mean(data, axis=0) cov = np.cov(data.T) # xのマハラノビス距離計算 maharanobis = distance.mahalanobis(x, mean, np.linalg.pinv(cov)) print(maharanobis) |
コメントを残す