３つのシートがあるExcelファイルデータを、シートのループ処理で１つのPandas DataFrameに結合（Merge,Concat）したいです。

Question

同じテンプレートのシートが３つある、１つのExcelファイルのデータを、
シート毎にループして、整形したPandasのDataFrame(df)を作り、
３つのdfを結合（merge,concat）したものを、１つのDataFrameとしてExcelファイルに出力したいです。

以下のコードで実現できているのですが、
条件式のシート名があるときdfを作るという、おかしなコードになっており、
本来イメージしていたコードが実現できません。

### こちらが現状のコード

wb = openpyxl.load_workbook(file)

for ws in wb.worksheets:
    df = pd.read_excel(file, sheet_name=ws.title, header=#)
    ~~~
    ここにdfを整形する処理
    ~~~

    # シート名の判定でdfを複数作る
    if sheet[0] == 'シート00':
        df00 = df
    elif sheet[1] == 'シート01':
        df01 = df
    if sheet[2] == 'シート02':
        df02 = df

# ３つのDataframeの結合
df_result = pd.concat([df00, df01, df02], axis=0)
# Excelファイルに書き出し
df_result.to_excel(save_file) 

こちらが、イメージ（書きたい）コードのロジックです。

# 空のdfを作る
df_result = pd.DataFrame()
wb = openpyxl.load_workbook(file)

for ws in wb.worksheets:
    df = pd.read_excel(file, sheet_name=ws.title, header=#)
    ~~~
    ここにdfを整形する処理
    ~~~

    # ループ毎にdf_resultに整形したdfを追加していくイメージ
    df_result = pd.merge(df_result, df, how='outer')

# Excelファイルに書き出し
df_result.to_excel(save_file) 

しかし、これをすると、以下のようなエラーが出ます。

MergeError: No common columns to perform merge on. Merge options: left_on=None, right_on=None, left_index=False, right_index=False

そのため、現状は、シート名が分かっているテンプレートなので、
シート名で判別して、そのシート毎にdfを作成して、最後に結合・・・という形にしていますが、
シートの順番が変わったときや、シート名の変更等で対応できないコードになってしまっています。

理想としては、空のDataFrameに３つのDataFrameを順次追加していくようなコードが良いと思っています。
おそらく、pd.merge の部分になにかオプション引数などを設定すればよいのでは？と思っているのですが、
最初からdf_resultのカラム名を設定する方法以外に、方法が見つかってきません。

どなたか、このようなロジックを解決する方法がわかる方いましたら、ご教示頂けますと助かります。
よろしくお願いいたします。

Answer 1

pd.read_excel()のsheet_name=引数に整数のリストを与えるとその位置のシートを格納した辞書が返ってきます。
つまり、

pd.read_excel(file, sheet_name=list(range(3)))

とすると、先頭から3シート分読み込みます。｛シート名: データフレーム｝の辞書が返ってきます。

辞書の値は.values()メソッドで取得できますから、それぞれを変換し、最後にpd.concat()で結合すれば所望のデータフレームになると思います。

したがって、例えば、以下のようなコードが想定されます。

def func(df):
   # なんらかの処理
   return df


df_list = []
for sub_df in pd.read_excel(file, sheet_name=list(range(3))).values():
   df_list.append(func(sub_df))

df = pd.concat(df_list)

Comments

[Takashi8787]

ありがとうございます！いま、こちらのコードで試してみたところ、やりたいことがスッキリ短いコードで実装することができました！

具体的には、シート名の値もdf値に入れたかったので、
シート名一覧を
wb = openpyxl.load_workbook(file)
sheet_names = wb.sheetnames
で取得し、ご教示いただいたコードを

for s_name, sub_df in pd.read_excel(file, sheet_name=sheet_names).items():
df_list.append(func(s_name, sub_df))

とすることで、データをキレイに処理することができました。
全く違うロジックで解決しようとしていたので、辞書型でこんなにキレイにコードが書けることに感動しました。とても参考になりました。早く、自分で解決して、回答できる側にまわりたい。。。
本当にありがとうございました！！