至急助けてください。Python for文を100回以上繰り返せない

Question

下記のコードを書いて実行すると
i=99まではうまくいくのですが
i=100以上ではなぜかうまくいきません。

とくにpre/probedata_nv_3dcylnd_prs_p'+str(i+1)の'C'は5305個の要素数があります。
リストにどんどんappendしていくので、
i=99ｍでは要素数は5305×99=52195のようになるのですが
i=100になったとたん、リスト内の要素数が100などの繰り返し処理の回数になります。
つまり要素数が100になっているのです。（本来は5305*1000にならないといけない）
全くいみがわからないです。誰か教えてくれませんか。

これはなぜですか？

lst = []
for i in range(99):

	pressure1 = pd.read_csv('pre/probedata_nv_3dcylnd_prs_p'+str(i+1), delim_whitespace=True, comment='#',names=['A', 'B', 'C'])
	pre1 = pressure1['C']
	lst.append(pre1)
	
array_lst = np.array(lst)
pressure_lst = array_lst.reshape(252,5305).T
np.savetxt('time_history_pressure.csv',pressure_lst,delimiter=',')

ValueError: cannot reshape array of size 200 into shape (252,5305)

これがためしにi=200でやってみた場合です。
なぜサイズが200になるのかわかりません。

ValueError: cannot reshape array of size 525195 into shape (252,5305)

これがi=99での場合です。このように要素数が足されています。

Comments

[maisumakun]

「pre/probedata_nv_3dcylnd_prs_p100」のようなファイルは存在しますか？

[Tubasa1995]

間違いなく書きのファイルは存在してます。
probedata_nv_3dcylnd_prs_p100
（preというディレクトリ内にあります）

[Tubasa1995]

そもそももともとできていたのですが、
ほんお数時間前から、なぜかi=100までしかできなくなりました。

[yymmt]

質問とエラーメッセージの対応が取れていないように思います。エラーを回避するだけなら
pressure_lst = array_lst.reshape(-1,5305).T
とすれば良いと思います。

[Tubasa1995]

probedata_nv_3dcylnd_prs_p'+str(i+1)というファイルが200個程度あり、各ファイルに5000個以上の要素があります。それをリストにどんどんappendしているので、単純に5000*iという要素数にならないとおかしくないですか？

[yymmt]

python標準のlistではappendすると要素数はappendした回数になります。すなわち5000*iではなくiです。その後numpyの配列にしているので、その時初めてshape=(i, 5000)という2次元配列になります。

[Tubasa1995]

そうだったんですか。。
ただ、ためしにi=252でやりました。
最終的にはreshape(252,5602)にしたいのですが
下記のようなエラーがでます。
どういうことでしょうか？
np.array(lst)をしても、中身の要素数は回数iなのですか？

pressure_lst = array_lst.reshape(252,5602).T
ValueError: cannot reshape array of size 252 into shape (252,5602)
PS C:\Users\tomiyasu\Desktop\probe_analysis>

[Tubasa1995]

あ、つまりnp.arrayのときに、i=100だとうまくいっていないんですね。

[yymmt]

「pre/probedata_nv_3dcylnd_prs_p100」のファイルが壊れているということはないでしょうか?

Answer 1

現象として何が起こっているのか説明します。
3つの要素を持つリスト(決め打ち[1,2,3])を10回appendしたのち、numpy配列にすると(10, 3)になります。

lst = []
for i in range(10):
    lst.append([1, 2, 3])
print(np.array(lst).shape)

# 結果
# (10, 3)

ここで、要素数が3でないリスト(例えば[1,2])が加わったとします。

lst = []
for i in range(10):
    lst.append([1, 2, 3])
lst.append([1,2])
print(np.array(lst).shape)

# 結果
# (11,)

したがって要素数が100を超えた値を指定した時点で、それまでの要素数とは異なる要素数を持つデータが追加された可能性があります。

Comments

[Tubasa1995]

つまり、どこかのファイルに要素数がことなるものがあった、という認識で正しいでしょうか？
ちょうどファイルを調べたところ、1行だけ要素数が少ないものがありました。

[yymmt]

要素数が同じになるように補完するか、そのデータはappendしないようにするか、何らかの処理する必要があります。