python pandasでcsvデータをresample後のcsv出力でエラーとなります

Question

下記のような、日経225先物5分足のカンマ区切りのcsvデータN225FtM5m.csvがあります。
YMD列とHHMM列はこのデータを使用するチャートソフトの仕様に合わせるため、日付列より分けたものです。

日付 YMD HHMM 始値 高値 安値 終値 出来高
2021-01-04 00:00:00 2021/1/4 0:00 27520 27520 27520 27520 105
2021-01-04 00:05:00 2021/1/4 0:05 27510 27520 27500 27510 68
2021-01-04 00:10:00 2021/1/4 0:10 27500 27510 27500 27510 109
... ... ... ... ... ... ... ...
このデータからpython pandasのresampleで30分足データを作成してcsv出力しようとしたところエラーとなりました。

import pandas as pd

#日付列をindexとして5分足csvデータ読み込み、index_col=0で日付行がindexに指定されていると思います。
df_5m = pd.read_csv(r"C:...\N225FtM5m.csv", sep=",", index_col=0,parse_dates=True)

#30分足csvデータ作成
d_ohlcv = {'始値': 'first',
           '高値': 'max',
           '安値': 'min',
           '終値': 'last',
          '出来高': 'sum'}

df_30m=df_5m.resample('30min').agg(d_ohlcv)
df_30m=df_30m.dropna(how='any')

#チャートソフトの仕様に合わせるため最終行までの12000行を抽出
Ln=len(df_30m)
if Ln>12000:
    df_30m=df_30m[Ln-12000:Ln]

#チャートソフトの仕様のHDR'F:DTSHLEK'後に日付行以外の30分足データをcsv出力
df_Hdr= pd.DataFrame(['F:DTSHLEK'])
df_Hdr.to_csv(r"C:...\N225FtM30m.csv",header=False, index=False)

df_30m.to_csv(r"C:...\N225FtM30m.csv",sep=",",columns=['YMD','HHMM','始値','高値','安値','終値','出来高'], mode='a', header=False)
```エラーは以下の通りです。
KeyError: "Passing list-likes to .loc or [] with any missing labels is no longer supported. 
The following labels were missing: Index(['YMD', 'HHMM'], dtype='object'). 
See https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#deprecate-loc-reindex-listlike"

30分足のcsv出力の代わりに
print(df_30m)
を入れてみると以下のとおり30分毎に集約されたデータが出力されるので、データ自体は作成されていると思います。
日付                   YMD   HHMM     始値     高値     安値     終値  出来高                                                  ​
2021-08-07 03:00:00  27905.0  27910.0  27895.0  27895.0   66
2021-08-07 03:30:00  27895.0  27900.0  27850.0  27850.0  201
...                         ...    ...    ...    ...    ...    ...  ...

また、https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#deprecate-loc-reindex-listlike"を見ると
indexが不正というようなエラーのようでしたので、確かに30分足にまとめる段階でデータは6件ごとになっていると考え、行数を12000行にしたあとに
df_30m = df_30m.reset_index(inplace=True,drop=True)
としてみたのですがうまくいきませんでした。

ご教示いただけますと幸いです。
よろしくお願いいたします。

Comments

[kirara0048]

エラーが出るのはどの行ですか？あと、`print(df_5m.columns)`の結果を貼ってみてもらえますか？

[tkxn]

貴重なお時間ありがとうございます。
＞エラーが出るのはどの行ですか？
最終行、
df_30m.to_csv(r"C:\...\N225FtM30m.csv",sep=",",columns=['YMD','HHMM','始値','高値','安値','終値','出来高'], mode='a', header=False)
と思われます、この行をコメントアウトして代わりにprint(df_30m)で実行するとエラーとなりません。
＞`print(df_5m.columns)`の結果を貼ってみてもらえますか？
Index(['YMD', 'HHMM', '始値', '高値', '安値', '終値', '出来高'], dtype='object')
と出力されました、なにか変ですよね！？

[kirara0048]

あ、すみません間違えました、`print(df_30m.columns)`の結果を貼ってもらえますか？
`df_5m.resample('30min').agg(d_ohlcv)`のところで'YMD'や'HHMM'が指定されていないので、df_30mからその列はなくなっているんじゃないかと……

[tkxn]

>print(df_30m.columns)`の結果を貼ってもらえますか？
Index(['始値', '高値', '安値', '終値', '出来高'], dtype='object')

確かに'YMD'や'HHMM'は表示されませんね、print(df_30m)では出てきたので問題ないとおもっていたのですが．．．
>df_5m.resample('30min').agg(d_ohlcv)`のところで'YMD'や'HHMM'が指定されていないので、df_30mからその列はなくなっているんじゃないかと……
とするとd_ohlcvのところで'YMD'や'HHMM'のパラメーターを設定するということでしょうか？

Answer 1

追記

やっぱり、エラーとしてはcsvに保存するときにYMD, HHMMがないことが原因っぽいですね。

d_ohlcvにYMD, HHMMを追加してやる(firstでよさそう?)か、resample後にYMD, HHMMを計算して追加する必要があります。

###元の回答

エラーは次の部分と思われます。

df_30m=df_30m[Ln-12000:Ln]

を

df_30m=df_30m.iloc[Ln-12000:Ln]

にすればいいのではないでしょうか。

[:]で指定するのはインデックスなので、今回の場合は日付列の値で指定しないといけないです。
行番号で指定したいので、ilocを使えばいいです。

Comments

[tkxn]

ご回答ありがとうございます。
ご指摘の箇所を
df_30m=df_30m.iloc[Ln-12000:Ln]
と変更してみたのですが、残念ながら同じエラーとなりました。
この部分は無関係のようです。

[tkxn]

試しに最終行に
print(df_30m['YMD'])とかprint(df_30m['HHMMDD'])を入れてみるとKeyErrとえらーになります。
print(df_30m['始値'])ですと正常に表示されます。
やはり、'YMD'と'HHMMDD'がdf_30mからなくなっているのですかね？

Answer 2

解決したようです！
＞d_ohlcvにYMD, HHMMを追加してやる(firstでよさそう?)
d_ohlcvに

d_ohlcv = {'YMD': 'first','HHMM': 'first','始値': 'first','高値': 'max','安値': 'min','終値': 'last','出来高': 'sum'}
```と'YMD','HHMM'の定義を追加し、to_csvのところにindex=Falseを追加したところ（これを入れないと'日付'行が出力される）、希望通りのcsvファイルが作成されました。

皆様、アドヴァイスありがとうございました！