array length does not much index lengthについて

Question

プログラミング初心者なのですが、ラズパイで計測した電圧値を、０と１からなる８通りの配列に変換するコードを書いています。

電圧値と７通りの閾値をそれぞれ別のCSVを読み込んで、電圧値と閾値を比較した後、pandasのDataFrameに格納して、電圧計測時の時間と配列を書き出すことがしたいです。

具体的には、16個の電圧を同時に計測しており、配列を縦3列、横16列とする為、
計測時間は３行ずつ同じ時間ステップのものを書き出すという処理内容です。

しかし、配列と組み合わせたものをCSVに書き出す最中に、arrayがindexの長さと合わなくなってしまいます。

printを使って、変数の動きを確認する中で、０のみで構成される配列の時は、エラーにならないのですが、１を含む配列になる場合にエラーが発生することがわかりました。

しかし、なぜ０のみの配列でエラーが発生せずcsvの出力ができるのか、またどのように解決すればいいのかわかりません。

拙い説明で申し訳ありませんが、アドバイスなどありましたらご教授おねがいしたいです。

以下に私が作成したコードを添付しています。
冗長で読みにくいコードで申し訳ありませんが、ご検討のほどよろしくお願いいたします。

import csv
import pandas as pd

filename = '/home/pi/demo_5.csv'
#read nama data
df = pd.read_csv("/home/pi/0920211107_141234.csv", dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})

#df = pd.read_csv("/home/pi/demo.csv", dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})

#read th data
df_1 = pd.read_csv("/home/pi/0920211107_135459.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_2 = pd.read_csv("/home/pi/0920211107_135712.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_3 = pd.read_csv("/home/pi/0920211107_135840.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_4 = pd.read_csv("/home/pi/0920211107_140001.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_5 = pd.read_csv("/home/pi/0920211107_140153.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_6 = pd.read_csv("/home/pi/0920211107_140345.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})
df_7 = pd.read_csv("/home/pi/0920211107_140543.csv",index_col=0, dtype ={'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int})

#get minval
Th1 = df_1.min()
Th2 = df_2.min()
Th3 = df_3.min()
Th4 = df_4.min()
Th5 = df_5.min()
Th6 = df_6.min()
Th7 = df_7.min()

#set 7 thresholds
Allmin = pd.Series(Th1, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R1R2min = pd.Series(Th2, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R1R3min = pd.Series(Th3, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R2R3min = pd.Series(Th4, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R1min = pd.Series(Th5, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R2min = pd.Series(Th6, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])
R3min = pd.Series(Th7, index=['v1','v2','v3','v4','v5', 'v6', 'v7', 'v8', 'v9', 'v10', 'v11', 'v12', 'v13', 'v14', 'v15', 'v16'])

v = pd.Series(data= [0,0,0,0,0,1,0,1,0,1,0,0,0,1,1,1,0,1,1,1,0,1,1,1])
t_row = 0
v_row = 0

#create 16 lists
volt=[[]*i for i in range(16)]
    
#Comparison with Thresholds
for t_row in range(0,len(df)+1):
    
    for num in range(1, 17):
        
        df_value = df.iloc[v_row,num]
        
        if df_value > Allmin[num-1]:
            volt[num-1] = v[0:3]
         
        elif df_value > R1R2min[num-1]:
            volt[num-1] = v[3:6]

        elif df_value > R1R3min[num-1]:
            volt[num-1] = v[6:9]
            
        elif df_value > R2R3min[num-1]:
            volt[num-1] = v[9:12]
            
        elif df_value > R1min[num-1]:
            volt[num-1] = v[12:15]
            
        elif df_value > R2min[num-1]:
            volt[num-1] = v[15:18]
            
        elif df_value > R3min[num-1]:
            volt[num-1] = v[18:21]
            
        elif df_value < R3min[num-1]:
            volt[num-1] = v[21:24]
        
        print(num)
        
        print(df_value)
        
        print([df.iloc[t_row,0]])
        
        print(volt[num-1])

    df_1 = pd.DataFrame({"time": [df.iloc[t_row,0], df.iloc[t_row,0], df.iloc[t_row,0]], "v1": volt[0], "v2": volt[1], "v3": volt[2], "v4": volt[3], "v5": volt[4], "v6": volt[5], "v7": volt[6], "v8": volt[7], "v9": volt[8], "v10": volt[9], "v11": volt[10], "v12": volt[11], "v13": volt[12], "v14": volt[13], "v15": volt[14], "v16": volt[15]})
    
    if v_row == 0:
        
        df_1.to_csv(filename, mode='w', header=True, index=False)
    
    if v_row >= 1:
        df_1.to_csv(filename, mode='a', header=False, index=False)

    v_row = v_row + 1

Comments

[1T2R3M4]

pythonならばインデントをつけていただけませんか。

[y_waiwai]

このままではコードが読めないので、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

[jbpb0]

pythonのコードの一番最初の行のすぐ上に
```python
だけの行を追加してください
また、pythonのコードの一番最後の行のすぐ下に
```
だけの行を追加してください

または、
https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif
を見て、そのようにしてみてください

現状、コードがとても読み辛いです
質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、コードの実行による現象確認もやりやすくなるので、回答されやすくなります

[cream_pan]

ご迷惑をおかけしてしまい大変申し訳ありません。初めてpythonの質問をさせていただいた為、貼付け位置の確認をせずに投稿してしまいました。

お忙しいところ恐縮ですが、何卒よろしくお願いいたします。

[y_waiwai]

エラーが出たなら、エラーメッセージを提示しましょう
エラーメッセージは、いらぬ翻訳省略しないで、出たそのママをコピペで提示してください

また、あなたの求める出力と、現状の出力（出ているのなら）を例示して下さい

[cream_pan]

迅速なご対応誠にありがとうございます。
以下のようなエラーメッセージが出ています。

Traceback (most recent call last):
File "/home/pi/09/pandas/demo_3.py", line 84, in <module>
df_1 = pd.DataFrame({"time": [df.iloc[t_row,0], df.iloc[t_row,0], df.iloc[t_row,0]], "v1": volt[0], "v2": volt[1], "v3": volt[2], "v4": volt[3], "v5": volt[4], "v6": volt[5], "v7": volt[6], "v8": volt[7], "v9": volt[8], "v10": volt[9], "v11": volt[10], "v12": volt[11], "v13": volt[12], "v14": volt[13], "v15": volt[14], "v16": volt[15]})
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 348, in __init__
mgr = self._init_dict(data, index, columns, dtype=dtype)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 459, in _init_dict
return _arrays_to_mgr(arrays, data_names, index, columns, dtype=dtype)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 7356, in _arrays_to_mgr
index = extract_index(arrays)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 7412, in extract_index
raise ValueError(msg)
ValueError: array length 3 does not match index length 12

また、エラーが発生する直前の出力内容は以下のようになっています。
16　　　　　　　　　　　　　　　　 #print(num)の結果
890　　　　　　　　　　　　　　　#print(df_value)の結果
['2021-22-07 14:13:06,949857']　#print([df.iloc[t_row,0]])の結果
18 　　　 1　　　　　　　　　　　#print(volt[num-1])の結果　
19 　　　 1
20 　　　 0
dype:int64

また、最後の#print(volt[num-1])の結果にあるように、(1,1,0)という縦３列の配列をcsvに出力させたいです。
ちなみに18,19,20はpd.Seriesのインデックス番号ですが、出力されたcsvを確認したところ、これらのインデックス番号は書き出されていません。(以下はエラーが発生する前までに出力されたものを示しています。)

time,v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12,v13,v14,v15,v16
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
...
2021-11-07 14:13:06.895468,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:13:06.895468,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:13:06.895468,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

Answer 1

以下の箇所を、

        if df_value > Allmin[num-1]:
            volt[num-1] = v[0:3]

        elif df_value > R1R2min[num-1]:
            volt[num-1] = v[3:6]

        elif df_value > R1R3min[num-1]:
            volt[num-1] = v[6:9]

        elif df_value > R2R3min[num-1]:
            volt[num-1] = v[9:12]

        elif df_value > R1min[num-1]:
            volt[num-1] = v[12:15]

        elif df_value > R2min[num-1]:
            volt[num-1] = v[15:18]

        elif df_value > R3min[num-1]:
            volt[num-1] = v[18:21]

        elif df_value < R3min[num-1]:
            volt[num-1] = v[21:24]

以下のように変更すれば、とりあえずエラーが出ることなく期待する動作をすると思います。

        if df_value > Allmin[num-1]:
            volt[num-1] = list(v[0:3])

        elif df_value > R1R2min[num-1]:
            volt[num-1] = list(v[3:6])

        elif df_value > R1R3min[num-1]:
            volt[num-1] = list(v[6:9])

        elif df_value > R2R3min[num-1]:
            volt[num-1] = list(v[9:12])

        elif df_value > R1min[num-1]:
            volt[num-1] = list(v[12:15])

        elif df_value > R2min[num-1]:
            volt[num-1] = list(v[15:18])

        elif df_value > R3min[num-1]:
            volt[num-1] = list(v[18:21])

        elif df_value < R3min[num-1]:
            volt[num-1] = list(v[21:24])

それ以外にも、間違いではないが、繰り返しを省ける箇所や、不要な処理をしていると思われる箇所があるので、そこも直したコードも参考までに以下に提示します（同じデータを手元に置いて試したわけではないので、もしかしたら何か問題があるかも知れません）。

import csv
import pandas as pd

filename = '/home/pi/demo_5.csv'
#read nama data
data_type = {'time': str, 'v1': int, 'v2': int, 'v3':int, 'v4':int, 'v5':int, 'v6':int, 'v7':int, 'v8':int, 'v9':int, 'v10':int, 'v11':int, 'v12':int, 'v13':int, 'v14':int, 'v15':int, 'v16':int}
df = pd.read_csv("/home/pi/0920211107_141234.csv", dtype=data_type)

#read th data
df_1 = pd.read_csv("/home/pi/0920211107_135459.csv", index_col=0, dtype=data_type)
df_2 = pd.read_csv("/home/pi/0920211107_135712.csv",　index_col=0, dtype=data_type)
df_3 = pd.read_csv("/home/pi/0920211107_135840.csv",　index_col=0, dtype=data_type)
df_4 = pd.read_csv("/home/pi/0920211107_140001.csv", index_col=0, dtype=data_type)
df_5 = pd.read_csv("/home/pi/0920211107_140153.csv", index_col=0, dtype=data_type)
df_6 = pd.read_csv("/home/pi/0920211107_140345.csv", index_col=0, dtype=data_type)
df_7 = pd.read_csv("/home/pi/0920211107_140543.csv", index_col=0, dtype=data_type)

#get minval and set 7 thresholds
Allmin = df_1.min()
R1R2min = df_2.min()
R1R3min = df_3.min()
R2R3min = df_4.min()
R1min = df_5.min()
R2min = df_6.min()
R3min = df_7.min()

v = [[0,0,0], [0,0,1], [0,1,0], [1,0,0], [0,1,1], [1,0,1], [1,1,0],　[1,1,1]]

#Comparison with Thresholds
for t_row in range(0,len(df)+1):

    #create list of 16 empty items
    volt = [[] for i in range(16)]

    for num in range(1, 17):

        df_value = df.iloc[t_row, num]

        if df_value > Allmin[num-1]:
            volt[num-1] = v[0]

        elif df_value > R1R2min[num-1]:
            volt[num-1] = v[1]

        elif df_value > R1R3min[num-1]:
            volt[num-1] = v[2]

        elif df_value > R2R3min[num-1]:
            volt[num-1] = v[3]

        elif df_value > R1min[num-1]:
            volt[num-1] = v[4]

        elif df_value > R2min[num-1]:
            volt[num-1] = v[5]

        elif df_value > R3min[num-1]:
            volt[num-1] = v[6]

        elif df_value < R3min[num-1]:
            volt[num-1] = v[7]

        print(num)

        print(df_value)

        print([df.iloc[t_row,0]])

        print(volt[num-1])

    df_1 = pd.DataFrame({"time": [df.iloc[t_row,　0], df.iloc[t_row,　0], df.iloc[t_row,　0]], "v1": volt[0], "v2": volt[1], "v3": volt[2], "v4": volt[3], "v5": volt[4], "v6": volt[5], "v7": volt[6], "v8": volt[7], "v9": volt[8], "v10": volt[9], "v11": volt[10], "v12": volt[11], "v13": volt[12], "v14": volt[13], "v15": volt[14], "v16": volt[15]})

    if t_row == 0:

        df_1.to_csv(filename, mode='w', header=True, index=False)

    if t_row >= 1:
        df_1.to_csv(filename, mode='a', header=False, index=False)

あとこれも間違いではないのですが、書き出すcsvはこういうのではなくて、

time,v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12,v13,v14,v15,v16
2021-11-07 14:12:34.954393,0,0,0,1,0,1,1,1,0,0,0,1,0,1,1,1
2021-11-07 14:12:34.954393,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1
2021-11-07 14:12:34.954393,0,1,0,0,1,1,0,1,0,1,0,0,1,1,0,1
2021-11-07 14:12:35.006776,0,0,0,1,0,1,1,1,0,0,0,1,0,1,1,1
2021-11-07 14:12:35.006776,0,0,1,0,1,0,1,1,0,0,1,0,1,0,1,1
2021-11-07 14:12:35.006776,0,1,0,0,1,1,0,1,0,1,0,0,1,1,0,1
...

例えばこういうのではダメでしょうか？

time,v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12,v13,v14,v15,v16
2021-11-07 14:12:34.954393,000,010,001,110,011,101,111,000,010,001,110,011,101,111
2021-11-07 14:12:35.006776,000,010,001,110,011,101,111,000,010,001,110,011,101,111
...

3行で1データって扱いにくくないかなあっていう単純な疑問なのですが。後でこのcsvをどう使うかにもよるかもしれませんが。

Comments

[cream_pan]

修正していただいたコードで無事出力ができました！！！
また、簡略化する方法をご教示していただきとても勉強になりました！！

３行ずつcsvに出力する件に関しましては、元々フォトトランジスタ(PTr)の電圧を計測しており、
縦3列横16列に並んでいるPTrの設置位置と同じになるように、0と1から成る配列の集合体を作ろうとしていました。
ご指摘されたように、3行で1データとして扱うのは難しいと思うのですが、
一度VBAでこの配列の集合体をベースにした演算処理を作れたので、pythonでも応用できるかどうか一度挑戦してみます＞＜

この度は本当にありがとうございました！！！

[etherbeg]

すみません、思いっきり基礎的なところで間違えていたので訂正しました（空のリストにインデックスを指定した代入はできない）。
申し訳ありませんでした。

[etherbeg]

今回はvoltのインデックス0から飛ばすことなく順番に代入していくので、
volt = []
はそのままで、代入の方を
volt.append(v[0])
とappendに変えてもよかったですね。

csvの件は納得です。趣旨の説明ありがとうございます。

[cream_pan]

リスト作成箇所の修訂正のご連絡ありがとうございます。こちらこそ、まずは条件分岐の箇所のみペーストしてみてエラーが発生していた部分の動作を確認しただけだったので、間違いを把握できず申し訳ないです。

簡略化を含めた修正版で全体を通して処理を行ってみたところ、
途中までで出力が止まってしまい、以下のようなエラーメッセージがでました。

Traceback (most recent call last):
File "/home/pi/09/pandas/demo_3.py", line 63, in <module>
df_1 = pd.DataFrame({"time": [df.iloc[t_row,0], df.iloc[t_row,0], df.iloc[t_row,0]], "v1": volt[0], "v2": volt[1], "v3": volt[2], "v4": volt[3], "v5": volt[4], "v6": volt[5], "v7": volt[6], "v8": volt[7], "v9": volt[8], "v10": volt[9], "v11": volt[10], "v12": volt[11], "v13": volt[12], "v14": volt[13], "v15": volt[14], "v16": volt[15]})
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 348, in __init__
mgr = self._init_dict(data, index, columns, dtype=dtype)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 459, in _init_dict
return _arrays_to_mgr(arrays, data_names, index, columns, dtype=dtype)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 7356, in _arrays_to_mgr
index = extract_index(arrays)
File "/usr/lib/python3/dist-packages/pandas/core/frame.py", line 7402, in extract_index
raise ValueError('arrays must all be same length')
ValueError: arrays must all be same length

また、出力されたcsvは以下のようになっています。

time,v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12,v13,v14,v15,v16
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:34.954393,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2021-11-07 14:12:35.006776,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
...
2021-11-07 14:18:16.717772,0,0,1,1,1,1,1,0,0,0,1,1,0,1,1,0
2021-11-07 14:18:16.717772,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
2021-11-07 14:18:16.717772,0,0,1,1,1,1,1,0,0,0,1,1,0,1,0,1
2021-11-07 14:18:16.772314,0,0,1,1,1,1,1,0,0,0,1,1,0,1,1,0
2021-11-07 14:18:16.772314,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
2021-11-07 14:18:16.772314,0,0,1,1,1,1,1,0,0,0,1,1,0,1,1,1

度々ご迷惑をおかけし本当に申し訳ありませんが、もしエラーの原因としてご意見などがありましたら教えていただけたら幸いです。

[cream_pan]

度々すみません＞＜
条件分岐を訂正(7つ目のelseif → else)したところ、
エラーが解消されました！！

お騒がせしてすみません＞＜