pandas.read_htmlで取得した表の結合ができない

Question

https://kabuoji3.com/stock/1305/2001/

上記のURLの　2001　の部分をfor文で2001～2019まで回して、当該のページにある表を取得するコードを組みました。
ここで得られる表は、以下の画像のようになります。この時それぞれの表を1つに結合してcsvに保存したいと思っておりますが、なかなかアイディアが浮かびません。
以下が今まで作成したコードです。

# coding: utf-8
import pandas as pd
from datetime import datetime
import csv
from bs4 import BeautifulSoup
import requests

df = pd.read_csv('code1.csv')

for i in range(len(df)):
    url1 = 'https://kabuoji3.com/stock/{}/'.format(df.iat[i, 0])
    html1 = requests.get(url1)
    soup1 = BeautifulSoup(html1.content,'lxml')
    print(soup1.find("span",class_="jp").string)

    for ul in soup1.find_all("ul", class_="stock_yselect mt_10"):
        for a in ul.find_all("a"):
            if a.decode_contents(formatter="html") != "直近300日":
                url2 = 'https://kabuoji3.com/stock/{}/{}/'.format(df.iat[i, 0],a.decode_contents(formatter="html"))
                print(url2)
                dfs = pd.read_html(url2)
                print(dfs)

Answer 1

リストに入れておいて、pandas.concatとかで結合すればいいのでは？

lst = []
for ...# 中略
    # ...
    for ... # 上に同じ
        for ... # 上に同じ
            if ... # 上に同じ
                # ...
                lst.extend(dfs)  #  list of DataFramesなのでextendでlistに結合する。
                # 1つしか中身がないことが確実or複数あっても常に先頭のものを取りたいならlst.append(dfs[0])でもいいかも
df_result = pd.concat(lst, ignore_index=True)

Comments

[TheBullchannel]

ご回答いただきありがとうございます。
cannot concatenate object of type '<class 'list'>'; only Series and DataFrame objs are valid
とエラーが出てしまいます。
listが使用できないということなのでしょうか。

[hayataka2049]

そういえばlist of DataFramesを返すんでしたね。
追記するのでその方法でやってみてください。
https://pandas.pydata.org/pandas-docs/version/0.23.4/generated/pandas.read_html.html

[TheBullchannel]

ありがとうございました！
無事期待通りの動作になりました！

Answer 2

DataFrameの結合方法は複数ありますが、下記が簡単です。

import pandas as pd

df1 = pd.read_csv('test1.csv')
df2 = pd.read_csv('test2.csv')

df3 = pd.concat([df1, df2])

※値が存在しない列はNaNとなります。

Comments

[TheBullchannel]

ありがとうございまいした！
勉強させていただきます！