Python DataFrameをExcelに…

Question

Pythonのスクレイピングについて
あるHTMLから複数データを抽出し、pandasのDataFrameに格納しました。
そのDataFrameをExcelシートに出力したところ、上手くはいくのですが毎回データが書き換わってしまいます。

実装したい運用としては、都度別シートに抽出したデータを更新（保存）していくイメージです。

個人的に調べてみても、
pandasのExcelWriterでは、データを上書きしてしまうみたいなので、
openpyxlを使ってみましたが、上手くいきませんでした…

対象のソースコードです。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import xlsxwriter
import openpyxl as opx

pages = 1

data = []
data1 = []  #デイリー
data2 = []  #週刊
data3 = []  #月間
data4 = []  #年間
genre = ""
path = r"C:パス"
wb = opx.load_workbook(path)

#メイン処理を行う
def mainData(baseURL,pages):
    while pages <= 5:
        url = baseURL + str(pages)
        OpenURL = requests.get(url)
        content = OpenURL.content
        soup = BeautifulSoup(content, 'html.parser')

        for div in soup.select("div.desc"):
            title = div.a.string
            users = div.select_one(".info-users").span.get_text(strip=True)
            author = div.select_one(".itemInfoElmBox").a.string

            data.append(
                {
                    "title": title,
                    "users": users,
                    "author": author,
                }
            )
            next

        pages += 1
    return data

#データ4回*4（ジャンル）
for i in range(4):
    if i == 0:
        genre = "book"

    elif i == 1:
        genre = "bunko"

    elif i == 2:
        genre = "shinsho"

    elif i == 3:
        genre ="comic"

    for config in range(4):
        if config == 0:
            baseURL = "https://booklog.jp/ranking/" + genre + "?page="
            data1 = mainData(baseURL,1)
            data = []   #初期化

        elif config == 1:
            baseURL ="https://booklog.jp/ranking/weekly/201908/1/" + genre + "?page="
            data2 = mainData(baseURL,1)
            data = []   #初期化

        elif config == 2:
            baseURL ="https://booklog.jp/ranking/monthly/201907/" + genre + "?page="
            data3 = mainData(baseURL,1)
            data = []   #初期化

        elif config == 3:
            baseURL = "https://booklog.jp/ranking/annual/2018/" + genre + "?page="
            data4 = mainData(baseURL,1)
            data = []   #初期化

    books1 = pd.DataFrame(data1)
    books2 = pd.DataFrame(data2)
    books3 = pd.DataFrame(data3)
    books4 = pd.DataFrame(data4)

    with pd.ExcelWriter(path)as writer:
        books1.to_excel(xlsxwriter, sheet_name=genre+'デイリー')
        books2.to_excel(xlsxwriter, sheet_name=genre+'週間')
        books3.to_excel(xlsxwriter, sheet_name=genre+'月間')
        books4.to_excel(xlsxwriter, sheet_name=genre+'年間')

上記ソースコードみたく、DataFrameを対象シートのA1にそのまま出力し、
次に実行した際にもpathにあるExcelの別シートに更新する方法は可能でしょうか。
ご教示いただきたく存じます。

Comments

[meg_]

「openpyxlを使ってみましたが、上手くいきませんでした…」とのことですが、何をトライされて
どう上手くいかなかったのでしょうか？

[naomaruJr]

ご質問ありがとうございます。
openpyxlで対象のExcelを開き、pandasのTo_Excelで書き込もうと試みましたが、
オブジェクトが存在しないとエラーが起きてしまいました。
ファイルパスの指定に誤りがあるのではないかと推察しましたが、
試しにopenpyxlで開いたExcelのA1セルに文字を出力するコードを書いたら問題なく実行できたので、
pandasのDataFrameを扱う場合、特殊なコードが必要ではないかと考えています。。

[meg_]

openpyxlのチュートリアルを呼んで書き込み処理のコードを書きましょう。

[meg_]

openpyxlでは２つのブック間でのシートのコピーは出来ないようです。残念！（出来ればxlsxwriterで作成して、それをopenpyxlでコピーすれば良いと思ったのですが・・・）

[naomaruJr]

何度もご回答頂きありがとうございます。
openpyxlで指定したエクセルに新規でシートを追加することはできるのですが、
pandasのDataFrameの書き込みの処理を加えるとオブジェクトエラーが発生してしまいます。汗
もう少しopenpyxlについて調べてみます。

[meg_]

回答にも追記しましたが、ExcelWriterをmode='a'で作成しても書き込み出来ませんでしたか？（すみませんがこちらで試してはないです）

[naomaruJr]

コメント頂きありがとうございます。
一旦修正前の赤裸々のソースコードを載せました。
mode='a'でも実行できなかったため、根本的なところが誤っている可能性が考えられました。。
（いろいろとインポートしていますが、wb等の変数は使っていません。）

Answer 1

【追記】
こちらのコードで私の環境では出来ました。 ＊engine指定をしました（Windows10、Excel2016）

with ExcelWriter('path_to_file.xlsx',engine='openpyxl', mode='a') as writer:
...     df.to_excel(writer, sheet_name='Sheet3')

デフォルト設定ではxlsxファイルを指定しても、何故かopenpyxlとならないようで、シート追加不可のエラーが出ました。

【追記修正】pandas（0.25.0）のチュートリアルより
下記で既存のエクセルに追記出来るとのこと

You can also append to an existing Excel file:

>>> with ExcelWriter('path_to_file.xlsx', mode='a') as writer:
...     df.to_excel(writer, sheet_name='Sheet3')

※default is to use xlwt for xls, openpyxl for xlsx

ところで、xlsxwriterがモジュール名とpd.ExcelWriterオブジェクト名で重複してるように見えるのですが大丈夫ですか？

【前回の回答】
openpyxlのチュートリアルです。（英語）
https://openpyxl.readthedocs.io/en/stable/tutorial.html

from openpyxl import load_workbook
wb = load_workbook('test.xlsx')
ws = wb.create_sheet("Mysheet")　新規シートを追加（末尾に追加）
書き込み等の処理
wb.template = False
wb.save('document.xlsx')

※書き込み等の処理については多岐にわたるためチュートリアルを参照ください

Comments

[naomaruJr]

ご連携頂いたソースコードを、上記のソースコード（本のランキングを取得するもの）に組み込んでみましたが、上手くいくことができませんでした。
解決には至りませんでしたが、色々とご協力いただきありがとうございました。
もう1度勉強しなおしてみます。

[meg_]

上記のソースコードに組み込むのではなく、単独で実行しても駄目ですか？

適当なエクセルファイルを１つ作って、それにpythonスクリプトからデータフレームの追記が出来なければ環境の問題かもしれませんね。
出来るなら、pandas.ExcelWriterの作り方には問題無いことになります。

あとはエラーメッセージを注意深く読んでみてください。