for文にしたところエラーメッセージが表示された

Question

前提

フォルダ内のデータを一括で解析するために，for文で記載したところ以下のエラーメッセージが発生しました。
この場合はどこを修正すればエラーメッセージなく処理することができますでしょうか。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
/usr/local/lib/python3.9/dist-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
   3628             try:
-> 3629                 return self._engine.get_loc(casted_key)
   3630             except KeyError as err:

5 frames
TypeError: '(None, slice(None, None, None), slice(9, 39, None))' is an invalid key

During handling of the above exception, another exception occurred:

InvalidIndexError                         Traceback (most recent call last)
/usr/local/lib/python3.9/dist-packages/pandas/core/indexes/base.py in _check_indexing_error(self, key)
   5649             # if key is not a scalar, directly raise an error (the code below
   5650             # would convert to numpy arrays and raise later any way) - GH29926
-> 5651             raise InvalidIndexError(key)
   5652 
   5653     @cache_readonly

InvalidIndexError: (None, slice(None, None, None), slice(9, 39, None))

該当のソースコード

import glob
import csv
import pandas as pd
import numpy as np
from pathlib import Path
from tensorflow.keras.models import load_model

model = load_model("/content/drive/MyDrive/model.h5")

path = '/content/drive/MyDrive/data/*.csv'
files = glob.glob(path)

output = [["ID", "result"]]

for i, file in enumerate(files, start=1):
    data = pd.read_csv(file)

    X1 = np.concatenate([data[0:15, 9:27], data[0:15, 72:84]], axis = -1)
    X1 = np.stack([X1], 0)
    X2 = data[np.newaxis, :, 108:114]
    X3 = data[np.newaxis, :, 118:121]
    
    prd = model.predict([X1, X2, X3])

    output.append([file, float(prd)])

    with open("result.csv", "w", newline="") as f:
      writer = csv.writer(f)
      writer.writerows(output)

試したこと

for文にする前は問題なく実行できております。https://teratail.com/questions/lr23r60igxfmku
※csvの形式もURLに記載しております。

Comments

[melian]

Pandas の データフレームを Numpy の ndarray に変換する必要がある様に見えます。

X1 = np.concatenate([data[0:15, 9:27], data[0:15, 72:84]], axis = -1)
=>
X1 = np.concatenate([data.values[0:15, 9:27], data.values[0:15, 72:84]], axis = -1)

X2 と X3 も同様かと思います。(もしくは numpy.loadtxt() で CSV ファイルを読み込む)

[jbpb0]

https://teratail.com/questions/lr23r60igxfmku
では

data = pd.read_csv("/content/drive/MyDrive/data/new/ID001.csv").values

と「.values」を付けてましたが、今回は

> data = pd.read_csv(file)

と「.values」を付けてないのはなぜでしょうか？

[jbpb0]

質問内容とは違いますが、「result.csv」への保存はforループ中に毎回やるのではなく、forループが終わってから一回だけやればいいような

[Muuuuki]

melian様，いつも的確かつ迅速にご指南いただき本当にありがとうございます。無事に解決しました！

[Muuuuki]

jbpb0様，path = '/content/drive/MyDrive/data/*.csv'に「.values」をつけた際にエラーになったため，記載を消してしまいました。data = pd.read_csv(file)につけると良かったのですね。「result.csv」に関しても，ご指摘いただきありがとうございます。

[jbpb0]

https://teratail.com/questions/lr23r60igxfmku
のコード

data = pd.read_csv("/content/drive/MyDrive/data/new/ID001.csv").values

は、「pd.read_csv("...")」でpandasのデータフレームを作ってから、それに「.values」を付けてnumpyのndarrayに変換してますよね

私が上のコメントで指摘した

> data = pd.read_csv(file)

に「.values」を付けるのも同じです
「pd.read_csv(file)」でpandasのデータフレームを作ってから、それに「.values」を付けてnumpyのndarrayに変換

melianさんのコメントの方法も、実質同じ

> data = pd.read_csv(file)

でできた「data」はpandasのデータフレームなので、「data.values[0:15, 9:27]」のように(pandasのデータフレームの)「data」に「.values」を付けてnumpyのndarrayに変換

違いは、
https://teratail.com/questions/lr23r60igxfmku
のコードや、私のコメントでの指摘は、numpyのndarrayに変換してから「data」に代入してますが、melianさんのコメントの方法は、(pandasのデータフレームの)「data」を作った後にnumpyのndarrayに変換してます
つまり、pandasのデータフレームをnumpyのndarrayに変換するタイミングが、「data」を作る前か後かの違い
(どちらのタイミングで変換しても結果は同じ)

上記と、

> path = '/content/drive/MyDrive/data/*.csv'に「.values」をつけた

は、全然違いますよね
「path」は文字列であり、pandasのデータフレームではありませんので

「.values」の役割は、下記を見てください
https://itips.krsw.biz/how-to-convert-pandas-dataframe-numpy-ndarray/#st-toc-h-1
の「PandasのDataFrameからNumPyのndarrayに変換する方法」

Answer 1

import glob
import csv
import pandas as pd
import numpy as np
from pathlib import Path
from tensorflow.keras.models import load_model

model = load_model("/content/drive/MyDrive/model.h5")

path = '/content/drive/MyDrive/data/*.csv'
files = glob.glob(path)

output = [["ID", "result"]]

for i, file in enumerate(files, start=1):
    data = pd.read_csv(file)

    X1 = np.concatenate([data.values[0:15, 9:27], data.values[0:15, 72:84]], axis = -1)
    X1 = np.stack([X1], 0)
    X2 = data.values[np.newaxis, :, 108:114]
    X3 = data.values[np.newaxis, :, 118:121]
    
    prd = model.predict([X1, X2, X3])

    output.append([file, float(prd)])

with open("result.csv", "w", newline="") as f:
  writer = csv.writer(f)
  writer.writerows(output)