外れ値の位置を特定する探索方法に関して

Question

前提・実現したいこと

７つのセンサから取得したデータから外れ値の位置を特定しようとしています。

以下は簡単のために数値を変えたものですが、現在の探索方法が非常に拡張性に欠けるため、
もしより早いもしくは安定して外れ値を見つけられる方法があれば教えていただきたいです。

想定環境

だいたい1~7の数値を繰り返し順番に並べた配列がある
配列番号を１番からとした時、ある要素の配列番号+7はほぼ同じである

以下の例では
18番目がだいたい4であるはずなのに12であるため外れ値として配列番号を取得したい

#[センサ1のデータ, センサ2, センサ3, センサ4, センサ5, センサ6, センサ7, センサ1...]と並んでいる 
A = [1,2,3,4,5,7,7,1,2,4,4,5,6,7,1,2,2,12,6,6,7]

発生している問題・エラーメッセージ

出力としては正しいが、現在の探索方法では
ある要素の配列番号+/-7を見て外れ値かどうか判断しようとした。

しかし、ある要素の配列番号+/-7で連続して外れ値が出た場合や
どこまで遡るかなど問題がある。

該当のソースコード

for i in range(len(A)):
    if i > 7:
        if A[i-7] +2 < A[i] or A[i-7] -2>A[i]:
            print(str(i)+'は外れ値')

出力

17は外れ値

補足情報（FW/ツールのバージョンなど）

python3

Answer 1

外れ値の検出はいろいろな手法がありますが、シンプルな方法として中央値からどのくらい離れているか調べて、差が大きいものは外れ値とするやり方はどうでしょうか。
numpy で実装すると以下のようになります。

手順

1. 各センサーの値が1次元配列になっていると扱いずらいので、(時刻の数, センサーの数) という形状に変形し、配列の各列が1つのセンサーの値となるようにする。
2. 中央値との差の絶対値を計算し、閾値より大きいかどうかを調べる。
3. True となった場所が元の配列でどのインデックスかどうかを調べる。

import numpy as np

num_sensors = 7  # センサーの数
thresh = 5  # 中央値との差がこの値より大きい場合は異常値と判断する。

data = np.array([1, 2, 3, 4, 5, 7, 7, 1, 2, 4, 4, 5, 6, 7, 1, 2, 2, 12, 6, 6, 7])  # 長さは (num_sensors * N) であることが前提
data = data.reshape(-1, num_sensors)  # 各列が1つのセンサーの値となるように変形する。
print(data)
# [[ 1  2  3  4  5  7  7]
#  [ 1  2  4  4  5  6  7]
#  [ 1  2  2 12  6  6  7]]

# 中央値との差の絶対値を計算し、閾値 thresh より大きいかどうかを調べる。
outliner = np.abs(data - np.median(data, axis=0, keepdims=True)) > thresh
print(outliner)
# [[False False False False False False False]
#  [False False False False False False False]
#  [False False False  True False False False]]

# True の場所が元の配列でどのインデックスかどうかを調べる。
indices, = np.where(outliner.ravel())
print(indices)  # [17]

---

不明な点があれば、コメントしてください。

Comments

[退会済みユーザー]

ベストアンサー投票後のコメントとなり恐縮ですが、なぜ平均値ではなく中央値との絶対値の差なのでしょうか。

[tiitoi]

平均値は外れ値の影響を受けやすい統計量なので、外れ値がデータにすでに含まれてしまっている場合に、比較する指標として平均値を使うのは適切ではないので避けました。他方、中央値は外れ値の影響を受けづらい統計量です。
以下のリンクに具体例があります。
https://atarimae.biz/archives/9425

回答で「中央値との差を見る」としたのは、あくまで簡易的な手法の1つとして紹介しただけなので、もう少し凝った手法というのもあります。
「外れ値 検出」等で調べるといろいろ情報が出てくると思います。

[退会済みユーザー]

ご丁寧にありがとうございます。