HTML上のテーブルを抽出して、加工するためにCSV出力したい。

Question

前提条件

language：Python3.7.7
IDE：Pycharm
ディストリビューション：anaconda

コード

HTML上のテーブルを抽出して、加工するためにCSV出力したいです。

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup
import time

html = urlopen("https://web.pref.hyogo.lg.jp/kk03/corona_hasseijyokyo.html")
soup = BeautifulSoup(html, 'html.parser')
table = soup.find_all("table", {"class": "tbody"})
rows = table.find_all("tr")[0]

time.sleep(5)

csvFile = open("coronaHyogo.csv", 'wt', newline='', encoding='utf-8')
writer = csv.writer(csvFile)

time.sleep(5)
try:
    for row in rows:
        csvRow = []
        for cell in row.find_all(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)


finally:
    csvFile.close()

問題となるエラー

File "corona.py", line 9, in <module>
    rows = table.find_all("tr")[0]
  File "C:\Users\detec\Anaconda3\lib\site-packages\bs4\element.py", line 2081, in __getattr__
    "ResultSet object has no attribute '%s'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?" % key
AttributeError: ResultSet object has no attribute 'find_all'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

Answer 1

pandas の read_html() を使用すると、Web サイトのテーブルを簡単に CSV に出力できます。

import pandas as pd

tables = pd.read_html(
    "https://web.pref.hyogo.lg.jp/kk03/corona_hasseijyokyo.html", header=0
)

data = tables[0]

data.to_csv("data.csv", index=False)  # 出力