Python - For Loop で取得したデータを全てExcelへと引き抜きたい

Question

前提・実現したいこと

For Loop で取得したデータを全てExcelへと引き抜きたい。

発生している問題・エラーメッセージ

あるサイトにテーブルがいくつかあるので、それをFor Loopで取得することまでできましたが、最後のループのデータしか引き抜く事ができません。どこが間違っている、もしくは足りないのでしょうか？宜しくお願い致します。

import pandas as pd

filename = r"\server\pc\user\username\desktop\test.xlsx"
path = open(filename, 'r')
destination = r"\server\pc\user\username\desktop\Scrap.xlsx"

df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs={'class': 'list2'})

num_tables = (len(df))

for i in range(0, num_tables):

    dfi = df[i]
 
writer = pd.ExcelWriter(destination, engine='xlsxwriter')
dfi.to_excel(writer, index=False, sheet_name='Test')

workbook = writer.book
worksheet = writer.sheets['Test']

writer.save()

Answer 1

各テーブルの形が同じなのであれば、とくにループを使わずともread_htmlした結果をconcatすればいけるかと思います。

import pandas as pd
from io import StringIO

# テストデータ
fmt = '<table><tr><th>col</th></tr><tr><td>{}</td></tr><tr><td>{}</td></tr></table>'
html = ''.join([fmt.format(i,i*10) for i in range(3)])

dfs = pd.read_html(StringIO(html)) # 読込
df = pd.concat(dfs).reset_index(drop=True) # 行方向に結合
df.to_excel('ret.xlsx', index=False, sheet_name='Test') # 書き出し

Comments

[SnowBallEffect]

返信ありがとうございます。テーブルの形は同じなのですが、read_htmlだと一つのテーブルしか確保できないようなので、ループを使わないといけないみたいです。can110さんがおっしゃてたやり方をトライしてもうまくいきませんでした。

私の方で少しコマンド変えてみました。

writer = pd.ExcelWriter(destination, engine='xlsxwriter')
result = []
for i in range(0, num_tables):

dfi = df[i]
result.append(dfi)
　 dfi.to_excel(writer, index=False, sheet_name='Test')

workbook = writer.book
worksheet = writer.sheets['Test']

テーブルは時によって４つだったり３つだったりします。最後のテーブルは必ずExcelにexportできますが、他のテーブルはいくつかrowがなくなったりします。

dfi = df[0]とかintegerを入れると必ず全てのテーブルを入手できますが、ループになるとだめになるみたいです。。　他にいい方法ご存じでしょうか。。。？

[8524ba23]

> read_htmlだと一つのテーブルしか確保できないようなので
そんなことはありません。回答コードでは３つの同じ形のテーブルを読み込めており
回答コードではconcatでうまくいっています（よね？）。
コードを変えたことによりうまくいかなくなったのであればコードを変えない方がよいかと思われます。