pandasのバージョンを1.1.5から1.2.0にアップデートしたら、openpyxlの既存複数シートへの書き込みができなくなった。

Question

前提・実現したいこと

既存のexcelファイルをテンプレートとしてコピーしてきたうえで、
複数シートにデータフレームの内容を書き込む処理を書きたいと考えています。
（ここでは簡単化のために単なる空の３シートのダミーシートを使っています。）
shutil.copyでコピーしてきたexcelファイルを使い、pandasのExcelWriterを使用して、
下記のような処理を記載しており、pandasの1.1.5では問題なく動作しておりました。
しかしながら、とある事情でpandasを1.2.0にアップデートしたとたん、下記のようなエラーで
該当処理が動作しなくなりました。
pandas 1.2.0の変更点を確認したのですが、何が原因かがわからず困っています。
お聞きしたいこと：
①エラーが出る原因、メカニズム
②pandas1.2.0以降で、複数のexcelシートに、dataframeの内容を書き込む、メンテナンスしやすい良い方法

発生している問題・エラーメッセージ

At least one sheet must be visible
  File "C:\test\pyinstaller_test_tqdm_px\ng_opx_exec.py", line 27, in <module>
    exl_w.book = opx.load_workbook(dst)

During handling of the above exception, another exception occurred:

  File "C:\test\pyinstaller_test_tqdm_px\ng_opx_exec.py", line 32, in <module>
    clear_df.to_excel(exl_w, sheet_name="ccc", index=False, header=False)

該当のソースコード

    exe_path = Path(sys.argv[0]).parent
    src = exe_path / Path("test.xlsx")
    dst = exe_path / Path("test2.xlsx")
    shutil.copy(src, dst)
    print(dst)
    with pd.ExcelWriter(dst, engine="openpyxl") as exl_w:
        exl_w.book = opx.load_workbook(dst)
        exl_w.sheets = dict((ws.title, ws) for ws in exl_w.book.worksheets)
        clear_df = pd.DataFrame(np.zeros(300).reshape(20, 15))
        clear_df.to_excel(exl_w, sheet_name="aaa", index=False, header=False)
        clear_df.to_excel(exl_w, sheet_name="bbb", index=False, header=False)
        clear_df.to_excel(exl_w, sheet_name="ccc", index=False, header=False)

試したこと

pandas 1.2.0の変更点などについて調査した。

補足情報（FW/ツールのバージョンなど）

python 3.7.4
numpy 1.21.0
openpyxl 3.0.7
pandas 1.2.0(1.1.5では動作する）

Comments

[bsdfan]

exl_w.book = opx.load_workbook(dst)
exl_w.sheets = dict((ws.title, ws) for ws in exl_w.book.worksheets)
というようなやり方は通常ではないと思うのですが、これが原因では？
何かを参考にやられてます？

[H.K2]

ご指摘ありがとうございます。ご連絡遅くなり申し訳ありません。
既存のファイルに書き込む場合は下記のように実施するように記載がありましたのでそちらを参考にしました。
https://www.it-swarm-ja.com/ja/python/python-excelwriter%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E6%97%A2%E5%AD%98%E3%81%AE%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%B7%E3%83%BC%E3%83%88%E3%81%AB%E6%9B%B8%E3%81%8D%E8%BE%BC%E3%82%80%E6%96%B9%E6%B3%95/822532111/

Answer 1

既存のxlsxファイルに、pandasからシートを追加する場合によく使われるやり方のようですが、
ドキュメントに書かれていない内部の属性を外から変更して対処しています。

pythonの場合、public/privateの区別がないため、オブジェクトの内部の属性を外から簡単に変更できてしまいます。
そのため、「こうやったらできるよ」的な情報として、内部の属性に手を加えるハックが見つかりますが、
今回のようにバージョンが変わると使えないということがあるので、注意が必要です。

ドキュメント化されていない部分(作者が外から触ってほしくないと思っている部分)なので、
内部設計が変わってそこに変更が入っても、変更点として公表されない場合が多いと思います。

既存のxlsxファイルに追加したいのならば、シンプルに mode='a' でやったらできないでしょうか？
(参考にされているページにもmode='a'が使えるというコメントがあります)

    with pd.ExcelWriter(dst, mode="a", engine="openpyxl") as exl_w:
        clear_df = pd.DataFrame(np.zeros(300).reshape(20, 15))
        clear_df.to_excel(exl_w, sheet_name="aaa", index=False, header=False)
        clear_df.to_excel(exl_w, sheet_name="bbb", index=False, header=False)
        clear_df.to_excel(exl_w, sheet_name="ccc", index=False, header=False)

Comments

[H.K2]

ご指摘ありがとうございます。確かに別のシート名になってしまいましたが、追加されているようです。
ただ、例を簡単化するために記載できていなかったのですが、aaa, bbbなどのシートは、別のシートで参照（ここで張り付けたデータを使って、別シートに表示）しているため、シート名が変わってしまうと都合が悪かったりします。シート名を変えずに実施できるのでしょうか。オプションが使えるということは、下記サイトにあるオプションを利用するべきということでしょうか。
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.ExcelWriter.html

[bsdfan]

ドキュメントにあるオプションを使ってやるほうが安全だと思います。
pandas 1.3.0 では if_sheet_exists オプションで制御できそうですが、1.2だとこのオプションはないようです。

pandasにまかせるのではなく、openpyxl でファイルを開いて、pandasのデータフレームの中身を書いていく方法もあるようです。
https://openpyxl.readthedocs.io/en/stable/pandas.html

[H.K2]

なるほど。ありがとうございます。ちょっとそのあたりで試してみます！

[H.K2]

ありがとうございました！該当箇所のエラーは取れました。