pd.read_html関数で特定のTableタグを読み込む方法を知りたい

Question

pandasでpd.read_html()関数を使って、HTML上のテーブルをpdのDtaFrameとして読込む処理で苦戦しています。

普通にURLを指定してHTMLを読み込むと、ユーザー操作内容によって、取り込みたいテーブルの順番が可変となり、正しく処理できません。
そのため、BeautifulSoupで該当する特定のTableタグ(<table>～</table>)だけを読み込みこんだ後にstr()でテキストに変換し、それをpandasのpd.read_html()でDataFrameに変換しようとしましたが、テーブル無しのエラーとなりました。
どのようにすれば、pandasのDataFrameとして取り込めるのでしょうか？

エラーとなるコード。
import bs4
import pandas as pd
html_text = './test_table.html'
test_table = pd.read_html(html_text)

発生したエラーメッセージ
ValueError Traceback (most recent call last)
<ipython-input-13-3984c22e0f02> in <module>()
4 # test_table.htmlはHTMLの特定テーブルをテキスト化したファイル
5 html_text = './test_table.html'
----> 6 test_table = pd.read_html(html_text)

/usr/local/lib/python3.7/dist-packages/pandas/io/html.py in _parse_tables(self, doc, match, attrs)
545
546 if not tables:
--> 547 raise ValueError("No tables found")
548
549 result = []

ValueError: No tables found

Answer 1

こちらで試してみたところでは、動いています。

ご参考までにコードを載せておきます。
ファイルは作らずにメモリ上でやっていますが、その部分にファイル名を書いても動くはずです。
(日本政府のページなので著作権で問題になることはないと思っています)

>>> import requests
>>> from bs4 import BeautifulSoup
>>> import io
>>>
>>> res = requests.get("https://www.e-survey.go.jp/")
>>> soup = BeautifulSoup(res.text)
>>> tbl = soup.find('table')
>>> with io.StringIO(str(tbl)) as f:
...     df = pd.read_html(f)
...
>>> print(df)
[          掲載日    府省名         統計調査名                                  件名
0  2021年5月26日  文部科学省       地方教育費調査   令和3年度地方教育費調査「オンライン調査システム操作手順書」の掲載
1  2021年5月20日  文部科学省      学校保健統計調査         【学校保健統計調査】オンライン調査ヘルプデスクについて
2  2021年4月28日   日本銀行  全国企業短期経済観測調査                  調査対象企業の定例的な見直しについて
3  2021年4月28日  文部科学省        学校基本調査        【学校基本調査】連絡先情報における必須項目の追加について
4  2021年4月27日  文部科学省        学校基本調査  【学校基本調査】回答データテンプレートが白紙で出力される事象について

Comments

[szkhd]

ありがとうございます！
初心者なので、メモリ上で処理する方法は思いつきませんでした。