Pythonでの複数リストへの一括処理(numpyでの実装)について

Question

Python3.9においてwebsocketからJSONで得られたデータを加工し、
以下のような7つの要素を持つリスト

list = [(小数点第一位までの数値), float(>0), float(>0), float(>0), float(>0), float(>0), (1 or 0 or -1)]

(list[-1]は3値を取りたい)
を秒間10〜100個程度、逐次的に取得している状況において、
一定時間置きにリアルタイムでリスト同士の集約を行いたいです。

具体的には、list[0]が同じリストについて、list[1:6]を足し合わせたいのですが
(list[6]の値による条件分岐はこの際簡単のため無視)、
Python等の経験も浅く、効率的な実装が判断できません。

現時点では、例えば１分間に取得したものについて、各listをnumpyで１次元配列に、その後多次元配列に変換し、その多次元配列に対して上記の処理を一括で行おうと考えているのですが、方向性として効率的でしょうか。

また、この方向性で実装するとして、ndarrayにおいての「list[0]が同値なリストについて、list[1:6]を足し合わせる」書き方がいろいろ調べてもわからず、質問いたします。どなたかお詳しい方、ご教授いただけると幸いです。
（不足している情報があればすぐに補足いたします。）

[33672.0, 0, 0.1485, 0.1485, 0, 0, 1]
[33667.0, 0.7323, 0, 0.7323, 0, 0, 1]
[33666.0, 0, 0.0001, 0.0001, 0, 0, 1]
[33667.0, 0.065, 0, 0.065, 0, 0, 1]
[33666.0, 0, 0.1152, 0.1152, 0, 0, 1]
[33667.0, 0.0148, 0, 0.0148, 0, 0, 1]
[33666.0, 0, 0.0001, 0.0001, 0, 0, 1]
[33666.0, 0, 0.0001, 0.0001, 0, 0, 1]
[33667.0, 0.0119, 0, 0.0119, 0, 0, 1]
[33667.0, 0.12, 0, 0, 0, 0.12, 0]
[33667.0, 0.0611, 0, 0, 0, 0.0611, 0]
[33667.0, 0.002, 0, 0.002, 0, 0, 1]
[33667.0, 0.002, 0, 0.002, 0, 0, 1]
[33667.0, 0.4411, 0, 0.4411, 0, 0, 1]
[33667.0, 0.002, 0, 0.002, 0, 0, 1]
[33667.0, 0.002, 0, 0.002, 0, 0, 1]
[33667.0, 0.1, 0, 0.1, 0, 0, 1]
[33667.0, 0.001, 0, 0.001, 0, 0, 1]
[33667.0, 0.1, 0, 0.1, 0, 0, 1]
[33666.0, 0, 0.01, 0, 0, 0.01, 0]
[33665.0, 0, 0.15, 0, 0.15, 0, -1]
[33662.0, 0, 0.05, 0, 0.05, 0, -1]
[33662.0, 0.0015, 0, 0.0015, 0, 0, 1]
[33664.0, 0.0005, 0, 0.0005, 0, 0, 1]
[33661.0, 0, 0.0535, 0.0535, 0, 0, 1]
[33660.0, 0, 0.0432, 0, 0.0432, 0, -1]
[33660.0, 0.045, 0, 0.045, 0, 0, 1]

Answer 1

numpyよりも、pandasを使う方が簡単です。

>>> import pandas as pd
>>>
>>> df = pd.DataFrame([[33672.0, 0, 0.1485, 0.1485, 0, 0, 1],
... [33667.0, 0.7323, 0, 0.7323, 0, 0, 1],
... [33666.0, 0, 0.0001, 0.0001, 0, 0, 1],
... [33667.0, 0.065, 0, 0.065, 0, 0, 1],
... [33666.0, 0, 0.1152, 0.1152, 0, 0, 1],
... [33667.0, 0.0148, 0, 0.0148, 0, 0, 1],
... [33666.0, 0, 0.0001, 0.0001, 0, 0, 1],
... [33666.0, 0, 0.0001, 0.0001, 0, 0, 1],
... [33667.0, 0.0119, 0, 0.0119, 0, 0, 1],
... [33667.0, 0.12, 0, 0, 0, 0.12, 0],
... [33667.0, 0.0611, 0, 0, 0, 0.0611, 0],
... [33667.0, 0.002, 0, 0.002, 0, 0, 1],
... [33667.0, 0.002, 0, 0.002, 0, 0, 1],
... [33667.0, 0.4411, 0, 0.4411, 0, 0, 1],
... [33667.0, 0.002, 0, 0.002, 0, 0, 1],
... [33667.0, 0.002, 0, 0.002, 0, 0, 1],
... [33667.0, 0.1, 0, 0.1, 0, 0, 1],
... [33667.0, 0.001, 0, 0.001, 0, 0, 1],
... [33667.0, 0.1, 0, 0.1, 0, 0, 1],
... [33666.0, 0, 0.01, 0, 0, 0.01, 0],
... [33665.0, 0, 0.15, 0, 0.15, 0, -1],
... [33662.0, 0, 0.05, 0, 0.05, 0, -1],
... [33662.0, 0.0015, 0, 0.0015, 0, 0, 1],
... [33664.0, 0.0005, 0, 0.0005, 0, 0, 1],
... [33661.0, 0, 0.0535, 0.0535, 0, 0, 1],
... [33660.0, 0, 0.0432, 0, 0.0432, 0, -1],
... [33660.0, 0.045, 0, 0.045, 0, 0, 1]])
>>> print(df)
          0       1       2       3       4       5  6
0   33672.0  0.0000  0.1485  0.1485  0.0000  0.0000  1
1   33667.0  0.7323  0.0000  0.7323  0.0000  0.0000  1
2   33666.0  0.0000  0.0001  0.0001  0.0000  0.0000  1
3   33667.0  0.0650  0.0000  0.0650  0.0000  0.0000  1
4   33666.0  0.0000  0.1152  0.1152  0.0000  0.0000  1
5   33667.0  0.0148  0.0000  0.0148  0.0000  0.0000  1
6   33666.0  0.0000  0.0001  0.0001  0.0000  0.0000  1
7   33666.0  0.0000  0.0001  0.0001  0.0000  0.0000  1
8   33667.0  0.0119  0.0000  0.0119  0.0000  0.0000  1
9   33667.0  0.1200  0.0000  0.0000  0.0000  0.1200  0
10  33667.0  0.0611  0.0000  0.0000  0.0000  0.0611  0
11  33667.0  0.0020  0.0000  0.0020  0.0000  0.0000  1
12  33667.0  0.0020  0.0000  0.0020  0.0000  0.0000  1
13  33667.0  0.4411  0.0000  0.4411  0.0000  0.0000  1
14  33667.0  0.0020  0.0000  0.0020  0.0000  0.0000  1
15  33667.0  0.0020  0.0000  0.0020  0.0000  0.0000  1
16  33667.0  0.1000  0.0000  0.1000  0.0000  0.0000  1
17  33667.0  0.0010  0.0000  0.0010  0.0000  0.0000  1
18  33667.0  0.1000  0.0000  0.1000  0.0000  0.0000  1
19  33666.0  0.0000  0.0100  0.0000  0.0000  0.0100  0
20  33665.0  0.0000  0.1500  0.0000  0.1500  0.0000 -1
21  33662.0  0.0000  0.0500  0.0000  0.0500  0.0000 -1
22  33662.0  0.0015  0.0000  0.0015  0.0000  0.0000  1
23  33664.0  0.0005  0.0000  0.0005  0.0000  0.0000  1
24  33661.0  0.0000  0.0535  0.0535  0.0000  0.0000  1
25  33660.0  0.0000  0.0432  0.0000  0.0432  0.0000 -1
26  33660.0  0.0450  0.0000  0.0450  0.0000  0.0000  1
>>> print(df.groupby(0).sum())
              1       2       3       4       5   6
0
33660.0  0.0450  0.0432  0.0450  0.0432  0.0000   0
33661.0  0.0000  0.0535  0.0535  0.0000  0.0000   1
33662.0  0.0015  0.0500  0.0015  0.0500  0.0000   0
33664.0  0.0005  0.0000  0.0005  0.0000  0.0000   1
33665.0  0.0000  0.1500  0.0000  0.1500  0.0000  -1
33666.0  0.0000  0.1255  0.1155  0.0000  0.0100   4
33667.0  1.6552  0.0000  1.4741  0.0000  0.1811  12
33672.0  0.0000  0.1485  0.1485  0.0000  0.0000   1

Comments

[yu_2_8_2]

ご回答ありがとうぞざいます！
ちなみにすいません、上のようにlistとlistを「,」で結合するのにappend以外の方法ってありましたっけ？

[yu_2_8_2]

[33662.0, 0.0015, 0, 0.0015, 0, 0, 1],
[33664.0, 0.0005, 0, 0.0005, 0, 0, 1],

[yu_2_8_2]

あ、自力で解決できました。
お騒がせしました

Answer 2

# ppaulさんに追加

df.groupby(0).sum().sum(axis=1).to_csv('out.csv',header=None)

"""
!cat out.csv

33660.0,0.1764
33661.0,1.107
33662.0,0.10300000000000001
33664.0,1.001
33665.0,-0.7
33666.0,4.251
33667.0,15.3104
33672.0,1.297

"""