Pandasのmodeについて

Pandas modeのバグ？

複数のjsonファイルをそれぞれdataframeに変換してから、必要な情報を抽出して処理を行うプログラムを書いています。

発生している問題

データサイズの大きいdataframeに対してmode()を使って最瀕値を求めているのですが時々、空のseriesや間違った値が帰ってきてしまいます。

該当のソースコード

python
1#all_filesはglobで呼び出したファイルのパス
2#データ数はjsonファイルが6000個
3#jsonファイルは１つあたりindexが10000~13000
4#jsonファイルすべてのデータサイズの合計が10Gほどあるのでかなり大きいです
5for n,file in enumerate(all_files):
6    with open(file) as f:
7        if n == 0:
8            frame_index.append(n)
9        print(n)
10        try:
11            json_data = pd.json_normalize(json.loads(f.read())['data'])
12
13            json_data = json_data[json_data['motion_x'] != 0]
14            json_data = json_data[json_data['motion_y'] != 0]
15            
16            x_vec = x_vec + (json_data['motion_x'].mode().iloc[-1])
17            y_vec = y_vec + (json_data['motion_y'].mode().iloc[-1])

json
1#jsonファイルの一部です。
2{
3            "index":50,
4            "source":-1,
5            "w":16,
6            "h":16,
7            "src_x":566,
8            "src_y":8,
9            "dst_x":568,
10            "dst_y":8,
11            "flags":0,
12            "motion_x":-11,
13            "motion_y":0,
14            "motion_scale":4
15        },
16        {
17            "index":51,
18            "source":-1,
19            "w":16,
20            "h":16,
21            "src_x":582,
22            "src_y":8,
23            "dst_x":584,
24            "dst_y":8,
25            "flags":0,
26            "motion_x":-11,
27            "motion_y":0,
28            "motion_scale":4
29        },

試したこと

空のseriesや間違った値が帰ってきたファイルを別のプログラムファイルでもう一度modeで最瀕値を取り出したら、
正常な値が帰ってきました

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

melian

2021/12/03 17:49 編集

フィルタリングの結果を同じ json_data に戻してしまうと、motion_x か motion_y の「どちらかだけが 0であるデータ」が抽出されないことになってしまいます。 json_data = json_data[json_data['motion_x'] != 0] json_data = json_data[json_data['motion_y'] != 0]

退会済みユーザー

2021/12/06 12:35

motion_x 、 motion_y から０のデータを消す（０以外のデータを抽出する）の意味で書いていたのですが、この書き方ではだめですかね、、、

melian

2021/12/06 12:41

motion_x と motion_y で分けないと意味が無いと思いますが、、、 json_data_x = json_data[json_data['motion_x'] != 0] json_data_y = json_data[json_data['motion_y'] != 0] x_vec = x_vec + (json_data_x['motion_x'].mode().iloc[-1]) y_vec = y_vec + (json_data_y['motion_y'].mode().iloc[-1])

退会済みユーザー

2021/12/06 13:16

json_data = json_data[json_data['motion_x'] != 0] これでjson_dataの'motion_x'が0のデータが消えて、さらに json_data = json_data[json_data['motion_y'] != 0] で'motion_x'が0のデータをもつ(他の要素は変わっていない)json_dataの'motion_y'が0のデータが消えると思うんですけど、、私がしたいのは列であるmotion_xとmotion_yのうち0であるデータの行を消したいんです、、

melian

2021/12/06 13:46

結局、「motion_x と motion_y の両方が 0 ではない行を抽出したい」ということなのですね？

退会済みユーザー

2021/12/06 13:58

そうです