pythonで気象庁のページをスクレイピングをしたい

Question

前提・実現したいこと

気象庁の北海道の1年間の天気をスクレイピングし、'年月日', '陸の平均気圧(hPa)', '海の平均気圧(hPa)', '平均気温(℃)', '平均湿度(%)', '平均風速(m/s)', '日照時間(h)'を取得したい

発生している問題・エラーメッセージ

スクレイピングしたのですが5月の部分までは降水量だった部分が6月から気圧っぽい数字になってしまします予期していない数字が入り込んできます。詳しくは発生している問題の部分に記載してあります。
['2000/5/29', 990.6, 993.6, 0.0, 0.0, 0.0, 27.5, 57.0],
['2000/5/30', 999.8, 1002.7, 0.0, 0.0, 0.0, 24.3, 40.0],
['2000/5/31', 1005.1, 1008.1, 0.0, 0.0, 0.0, 24.7, 57.0]←ここまでは4つ目に降水量が入っている
['2000/6/1', 1004.5, 1007.5, 1006.5, 0.0, 0.0, 21.3, 70.0]←ここから4つ目に気圧っぽい数字が入っている
['2000/6/2', 1008.8, 1011.9, 1009.3, 0.0, 0.0, 13.2, 89.0],
['2000/6/3', 1006.3, 1009.4, 1007.1, 7.0, 0.0, 18.5, 88.0],

該当のソースコード

import requests
from bs4 import BeautifulSoup
All_list = []#初期化
#URLで年と月ごとの設定ができるので%sで指定した英数字を埋め込めるようにします。
base_url = "http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=14&block_no=47412&year=%s&month=%s&day=1&view=a2"
#試しに2000年だけ実行しています　
for year in range(2000,2001):
    #入れ子のforで1月~12月の12回を回します。
    for month in range(1,13):
        #for文で2000年1月...2月...3月と回せるので埋め込んで行きます。
        r = requests.get(base_url%(year,month))
        r.encoding = r.apparent_encoding

        #対象である表をスクレイピングしていきます。
        soup = BeautifulSoup(r.text,'lxml')
        rows = soup.findAll('tr',class_='mtx')
        i = 1

        #表の最初の１〜３行目はカラム情報なのでスライスしていまいます。
        rows = rows[4:]
        
        for row in rows:
            # 今度はtrのなかのtdをすべて抜き出します
            data = row.findAll('td')

            #１行の中には様々なデータがあるので全部取り出す。
            # ★ポイント
            rowData = [] #初期化
            rowData.append(str(year) + "/" + str(month) + "/" + str(data[0].string))
            rowData.append(str2float(data[1].string))#陸の平均気圧
            rowData.append(str2float(data[2].string))#海の平均気圧
            rowData.append(str2float(data[3].string))#降水量
            rowData.append(str2float(data[6].string))#平均気温
            rowData.append(str2float(data[9].string))#平均湿度
            rowData.append(str2float(data[11].string))#平均風速
            rowData.append(str2float(data[16].string))#日照時間

            #次の行にデータを追加
            All_list.append(rowData)

試したこと

data[9]#平均湿度をunique()で確認したところリストにarray([0.0, nan], dtype=object)で0.0かnanしか含まれておらず、ALL_listを確認したところ日にちと気圧の3列くらいしかきちんととれていませんでした。

補足情報（FW/ツールのバージョンなど）

参考：https://qiita.com/neet-AI/items/d434f3a96223c12fbdd3
https://qiita.com/Cyber_Hacnosuke/items/122cec35d299c4d01f10

Answer 1

実際に、2000年5月と6月のページをブラウザーで確認するとわかりますが、(先頭を1つめとして)4つめと5つめのデータは何月でも変わらず「(海面の)最低気圧」「(海面の最低気圧の)時分」です。そして、「平均風速」や「日照時間」はこのa2ビューの表には載っていません。

2000年5月(a2ビュー)

ということで、正確にデータが取れていないのではなく、データを取るページのクエリー文字列(ビューの指定)を間違えています。おそらく、あなたが見たいのは、上記のページで「主な要素」をクリックしたときに表示されるp1ビューの表なのでは? そうであれば、URLの末尾を「p1」に変えてください。

2000年5月(p1ビュー)

-base_url = "http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=14&block_no=47412&year=%s&month=%s&day=1&view=a2"
+base_url = "http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=14&block_no=47412&year=%s&month=%s&day=1&view=p1"

それから、あなたの質問には、str2floatという関数の定義が抜けていますが、参考情報のページを見ると、これはfloatに変換した値を返せないときは0.0を返す、という内容ですね。0.0ではなく、numpyをimportしてnp.nanを返すように書き換えてください。これで、「数値に変換できるデータがなかったのか」それとも「数値が0だったのか」が区別できます。

import numpy as np

def str2float(str):
    try:
        return float(str)
    except(ValueError):
        return np.nan

Comments

[D141]

参考にしたコードのURLの部分が同じだと思い込んでました
助かりました

[D141]

参考にしたページのURLの部分が同じだと思っていました
助かりました

Answer 2

そもそも対象とするページURLを間違えていませんか？

Answer 3

当たり前ですが、レイアウトの異なるページであれば、それに合わせたプログラムにしないといけません。
何年何月以降はレイアウトが変わったと判断するとか、ページ内の何らかの情報で、どっちのレイアウトなのかを判断するとか。

Comments

[otn]

サイトを見ると、条件を指定してダウンロードできるようなので、スクレイピング不要では？