CSVのエラー・出力方法

Question

現在Pythonで水道料金自動計算プログラムを作成しようと考えています。
まだまだ初心者なもので初手の方で躓いております。
浜松の水道代のサイトから基本料金が書かれているHTMLを抽出したものをcsvファイルに出力しようとした段階でエラーが出ました。

import requests
from bs4 import BeautifulSoup
import urllib
import pandas as pd

#浜松の水道代をサイトからスクレイピング
hamamatsu_url = "https://www.city.hamamatsu.shizuoka.jp/service/suidou/service/hamayu.html" # サンプルページ
html = requests.get(hamamatsu_url)
soup = BeautifulSoup(html.content,"html.parser")

#表のHTMLを抽出
basic_charge = soup.find(class_="datatable")

#表の値をCSVに出力
for element in basic_charge():
    table =element.text
    table.to_csv("水道料金_基本料金.csv")
ここに言語を入力
```
このプログラムを実行すると以下のエラーが出ます。

```
runfile('/Users/kentaro/Desktop/PYTHON  プログラム/水道代　計算プログラム/タイトル無し14.py', wdir='/Users/kentaro/Desktop/PYTHON  プログラム/水道代　計算プログラム')
Traceback (most recent call last):

  File "/var/folders/vg/1tr13rls67v4h6fmkdl8xbq40000gn/T/ipykernel_44887/4125468063.py", line 1, in <module>
    runfile('/Users/kentaro/Desktop/PYTHON  プログラム/水道代　計算プログラム/タイトル無し14.py', wdir='/Users/kentaro/Desktop/PYTHON  プログラム/水道代　計算プログラム')

  File "/Users/kentaro/opt/anaconda3/lib/python3.8/site-packages/debugpy/_vendored/pydevd/_pydev_bundle/pydev_umd.py", line 167, in runfile
    execfile(filename, namespace)

  File "/Users/kentaro/opt/anaconda3/lib/python3.8/site-packages/debugpy/_vendored/pydevd/_pydev_imps/_pydev_execfile.py", line 25, in execfile
    exec(compile(contents + "\n", file, 'exec'), glob, loc)

  File "/Users/kentaro/Desktop/PYTHON  プログラム/水道代　計算プログラム/タイトル無し14.py", line 25, in <module>
    table.to_csv("水道料金_基本料金.csv")

AttributeError: 'str' object has no attribute 'to_csv'
```

エラーからして、テキストファイルで文字型になり、その文字型のテキストファイルをCSVに書き込もうとしたのでこのようなエラーが出てしまったということなのでしょうか？

このエラーについてと、CSVへの出力方法を教えていただけたらと思います。
よろしくお願いいたします。

Answer 1

HTMLの”datatable”をfindをfind.allで全て取得し、dfs[0]とdfs[1]を書き込むことで基本料金の表と従量料金の表をしれぞれ取得しCSVに書き込むことができました。

import requests
from bs4 import BeautifulSoup
import urllib
import pandas as pd

#浜松の水道代をサイトからスクレイピング
hamamatsu_url = "https://www.city.hamamatsu.shizuoka.jp/service/suidou/service/hamayu.html" # サンプルページ
html = requests.get(hamamatsu_url)
soup = BeautifulSoup(html.content,"html.parser")
#print(soup)

#表のHTMLを抽出
basic_charge = soup.find_all(class_="datatable")
#print(basic_charge())

#表の値をCSVに出力(テラテイル使用)
#for element in basic_charge():
    #table =element.text
    #table.to_csv("水道料金_基本料金.csv")
dfs = pd.read_html(str(basic_charge))
print(dfs)   
dfs[0].to_csv('基本料金.csv')
#従量料金の抽出
dfs[1].to_csv('従量料金.csv')
コード

Answer 2

pandas.read_htmlに取得したHTMLコードを渡せばよいです。
なお、結果はリストで返ってくるので、先頭のデータフレームを取得してCSV出力できます。

import pandas as pd
import requests
from bs4 import BeautifulSoup

hamamatsu_url = "https://www.city.hamamatsu.shizuoka.jp/service/suidou/service/hamayu.html" # サンプルページ
html = requests.get(hamamatsu_url)
soup = BeautifulSoup(html.content,"html.parser")

#表のHTMLを抽出
basic_charge = soup.find(class_="datatable")
dfs = pd.read_html(str(basic_charge))
dfs[0].to_csv('ret.csv')

Comments

[kentaronagata]

csvとして抽出できました。
ありがとうございます。
dfs[0]の０はインデックスを表すと思うのですが、そこを１にすると、１番目からの表記がcsvに書き出されるのでしょうか？

[8524ba23]

渡したHTMLコードに複数のテーブルが含まれていればそうなると思いますが、今回の例ではひとつしか含まれていないようです。

[kentaronagata]

HTMLの”datatable”をfindをfind.allで全て取得し、基本料金の表と従量料金の表をしれぞれ取得しCSVに書き込むときに、dfs[0]とdfs[1]を使い分けることができました。
ありがとうございます。

Answer 3

こういう場合は、pandasのread_htmlを使うのが簡単です。

>>> import pandas as pd
>>> df_list = pd.read_html('https://www.city.hamamatsu.shizuoka.jp/service/suidou/service/hamayu.html')
>>>
>>> print(df_list[0])
           メーター口径       金額
0        13ミリメートル      660円
1        20ミリメートル      704円
2        25ミリメートル      792円
3        30ミリメートル    1,650円
4        40ミリメートル    3,190円
5        50ミリメートル    6,820円
6        75ミリメートル   15,400円
7       100ミリメートル   30,800円
8       125ミリメートル   30,800円
9       150ミリメートル   81,400円
10  200ミリメートル以上  170,500円
>>> print(df_list[1])
  使用水量  (立方メートル)       金額
0                   10まで       44円
1             10超～20まで  105円60銭
2             20超～30まで  139円70銭
3             30超～40まで  170円50銭
4             40超～50まで      198円
5            50超～100まで  206円80銭
6           100超～500まで  214円50銭
7                  500超～      220円
>>> print(df_list[2])
      金額
0  1,221円
>>> print(df_list[3])
   排出量  (立方メートル)       金額
0                  10まで       44円
1            10超～20まで  128円70銭
2            20超～30まで  151円80銭
3            30超～50まで  167円20銭
4           50超～100まで  180円40銭
5          100超～200まで  193円60銭
6          200超～500まで  206円80銭
7        500超～1,000まで  214円50銭
8      1,000超～2,000まで  223円30銭
9      2,000超～5,000まで  228円80銭
10              5,000超～  233円20銭

read_htmlの説明と、csvへの出力については、以下をお読みください。

Python, pandasでwebページの表（htmlのtable）をスクレイピング
pandasでcsvファイルの書き出し・追記（to_csv）