データのlist内から順にカウントしていき、同一データのまとまりとして取り出す方法

Question

機械学習による連続データのクラス分類について勉強しております。
リスト内から順にカウントしていき、同一データをまとまったデータとして取り出す方法について考えているのですが、方法論が思いつかないため困っております。

#modelのclass予測が以下だった場合
#クラス分類0-5の6分類とすると以下のように予測クラスをリスト内に格納するとする。

predicted_data=[0,0,0,0,1,0,2,2,2,2,3,2,4,4,4,4,2,1,4,5,5,5,5,2]

#このpredicted_dataから以下のデータとして取り出したい
#リスト内に格納されたデータから1つめから順々に認識させて、0,0,0,0,1,0を取り出し、1は予測の誤りであるとすると、それを除いたデータを抽出したい。以下のようなデータとして
data1=[0,0,0,0,0]

#同様に次は、2,2,2,2,3,2というまとまりを抽出して、3を取り除いたデータを取り出したい。

data2=[2,2,2,2,2]
#上記のようにデータを取り出したい。

上記のようなリストデータを取り出したい場合、なにかいい方法論はございますでしょうか。
n-gramのような手法で何個かに分けて取り出そうとも考えたのですが、方法論としていい方法が思いつかず困っております。何かアドバイスをいただけたら幸いです。

よろしくお願いします。

Comments

[quickquip]

> 0,0,0,0,1,0を取り出し、1は予測の誤りであるとすると
どうして 0,0,0,0,1,0 を取り出したのか?
どうして 1は予測の誤りであるとしたのか?
を説明いただけるといいかと思います。

[yohehe]

quiqui様、ありがとうございます。
センサー習得からの動作認識に取り組んでおります。動作のような連続データを習得し続け、それをmodel.predict()でクラス分類していくとどうしても0,0,0,0,1,0のように大まかには0と習得したいデータリストが出力されています。
このような場合にKenji.Noguchi様が教えてくださったgroupbyのような手法で取り出して行く方法を導入することが学習モデルの後に取り入れる手法として正しいかはわかりませんが有用であると考えてはおります。

predictの類似度の出力を用いる方法もあるのかと調べたりしていますが、適切なやり方がみつからないでおります。このような連続したデータにおけるpredictの手法についてはなにかいい方法論がありますでしょうか。

[yohehe]

"誤り"という言い方は間違いですね。誤りではなく、それらのpredictの予測データが混在したデータからデータのまとりまりとして捉えていきたいという言い方が正しいと思われます。失礼致しました。

[quickquip]

つまり「予測した」データ列から「こうだったのだろう」列を作りたいのであって、「正解はわからない」状態と考えていいのでしょうか。
例えば、0,0,0,0,1,0 は [0, 0, 0, 0] [1, 1] の最後を間違えたとは「考えない理由」はなんでしょうか?

[yohehe]

動作推定の分類手法が正しくないのかもしれないですが、秒単位で分類器などに入れるとどうしても大まかにこういう動作なんだろうというデータ出力がされています。ウインドウサイズのsecを小さくしていけばいくほど、その数が増えている状況でして。これは分類器の精度の問題であるといえばそうかもしれません。うまい例えばではないかもしれませんが、ランニングしている途中で少し歩いたり止まったりした部分があったとしても大まかにこの範囲は走っていると分類させたいということであります。大まかな動作が認識できれば動作の順序などを大きな範囲で取得できるのではないかと考えています。

[quickquip]

例えば 2,2,2,3,4,4の列に対して、好ましい正解なのか、[2,2,2,2] [4,4]が好ましいのか、[2,2,2][4,4,4]が好ましいのか、などはどうでしょうか?
（最大長の最大を望むのか、長さの分散が小さいことを望むのか）
# 行き違いました

[yohehe]

動作が対象になっておりますので、動作の時間:長さが異なっておりますので長さはある程度の自由度があるほうがいいとは考えております。
なるほど、最大長の設定して、そのなかで分散表現、分布として大まかな類推をするということでしょうか。

Answer 1

なにをもって「同一データのまとまり」と解釈するかが肝になるかと思います。
美しくないですが、とりあえず以下のコードを書いてみました。
混在する値が１つだけなら、それを除いて抽出します。
よって混在数が２つある 4,4,4,4,2,1,4 は 4,4,4,4,4 にはなりません。

lst=[0,0,0,0,1,0,2,2,2,2,3,2,4,4,4,4,2,1,4,5,5,5,5,2]

cur_n = -1 # 抽出する数値
pos_st = 0 # 抽出開始位置
dif_cnt = 0 # 抽出中の異なる数値の数
MAX_DIF = 1 # 混在を許す上限数

i = 0
while i < len(lst):
    # 次の抽出する数値を決定
    if cur_n < 0:
        cur_n = lst[i]
        dif_cnt = 0
        pos_st = i
    # 抽出中
    else:
        # 異なる数値が出現
        if cur_n != lst[i]:
            # 混在上限に達した→抽出終了
            if dif_cnt >= MAX_DIF:
                print([v for v in lst[pos_st:i] if v == cur_n]) # 同一値のみ
                cur_n = -1
                i -= 1 # 巻き戻し
            # 異なる数値が出現
            else:
                dif_cnt += 1
    i += 1

# 末尾に取りこぼしがあればそれも抽出
if cur_n > 0:
    print([v for v in lst[pos_st:i] if v == cur_n])

"""
[0, 0, 0, 0, 0]
[2, 2, 2, 2, 2]
[4, 4, 4, 4]
[1]
[5, 5, 5, 5]
"""

Comments

[yohehe]

業務により遅くなりすみません。
can110様、アドバイスありがとうございます。なるほど、同一のまとまりの定義をまずはある程度自分で定義する必要があるのですね、勉強になります。
教えていただきましたコードについて今から勉強してみます。

[yohehe]

can110様、ありがとうございます。こういった書き方でまとまりとしてとらえていく手法もあるのかと勉強になりました。

Answer 2

直接の回答ではないかもしれませんが、itertools.groupbyが使えると思います。

import itertools

predicted_data=[0,0,0,0,1,0,2,2,2,2,3,2,4,4,4,4,2,1,4,5,5,5,5,2]

for k, g in itertools.groupby(predicted_data):
    print(k, list(g))

結果

0 [0, 0, 0, 0]
1 [1]
0 [0]
2 [2, 2, 2, 2]
3 [3]
2 [2]
4 [4, 4, 4, 4]
2 [2]
1 [1]
4 [4]
5 [5, 5, 5, 5]
2 [2]

長さが1のものは誤りとして除外するなら

import itertools

predicted_data=[0,0,0,0,1,0,2,2,2,2,3,2,4,4,4,4,2,1,4,5,5,5,5,2]

for k, g in itertools.groupby(predicted_data):
    l = list(g)
    if len(l) <= 1:
        continue
    print(k, l)

結果

0 [0, 0, 0, 0]
2 [2, 2, 2, 2]
4 [4, 4, 4, 4]
5 [5, 5, 5, 5]

Comments

[yohehe]

Keni.Noguchi様、アドバイスありがとうございます。groupbyというライブラリについて調べてみます。