気象庁データのスクレイピングをしています

Question

気象庁データ(降水量)をスクレイピングを行おうと思います。
https://www.data.jma.go.jp/obd/stats/etrn/view/monthly_s3.php?prec_no=11&block_no=47401&year=2020&month=1&day=&view=p5

このサイトから表の数値と月だけのlistの作成が目標です。
下記のコードで表の場所まではとってこれたのですが、このあとどのようにして「赤枠」だけを取得できるのか困っています。

r = requests.get(f"https://www.data.jma.go.jp/obd/stats/etrn/view/monthly_s3.php?prec_no=11&block_no=47401&year=&month=&day=&view=p5")
soup = BeautifulSoup(r.content, "html.parser")
areas = soup.find_all(id="tablefix1")

スクレイピングとwebの初心者で指定方法など慣れておりません。
宜しくおねがします

Answer 1

pandasおまかせワザなのでスクレイピングの勉強にはなりません。こういうことも出来るという参考まで。

import pandas as pd
url = "https://www.data.jma.go.jp/obd/stats/etrn/view/monthly_s3.php?prec_no=11&block_no=47401&year=&month=&day=&view=p5"
dfs = pd.read_html(url)[0]
print(dfs[['年','1月','2月']])

       年     1月     2月
0   1938   42.6   47.2
1   1939   38.0   26.7
2   1940   98.5   48.5
3   1941   83.1   83.8
4   1942   59.0   70.6
..   ...    ...    ...
78  2016  118.5  115.5
79  2017   47.5   37.5
80  2018  122.0   75.0
81  2019   56.0   46.5
82  2020   35.0   39.5

Comments

[Yuiti628]

pandasは神でした　笑
これはこれでありなので、次回はこれを使います。
ありがとうございます

Answer 2

HTMLの構造をどの程度ご存知かわかりませんが、まずはソースコードを眺めて法則を見つけてください。

• 表の1行は<tr>で始まり、</tr>で終わっている。
• 年は<a>と</a>に囲まれている
• 月ごとのデータは<td>と</td>に囲まれている

例としていくつか挙げましたが、こういったパターンを見つけて、目的となる場所を抽出してみてください。

ちなみに、少しググればいくらでもBeautiful Soupを使ってテーブルをスクレイピングしている例が出てくると思いますよ。

Comments

[Yuiti628]

年 : areas1[1].find_all('a')[0].get_text()
降水量 : areas1[1].find_all('td')[1].get_text()

これで取得ができました
少しググって分からなかったのですが、ここまで深いものなんでしょうか？

[Takumiboo]

深いもの、とはどういうことでしょう？
情報を抽出する難易度はサイトの構造よって大きく変わりますが、基本的には回答したような流れになるかと思います。
もちろんそれを簡単にするライブラリなどもあるので、実際にはいろいろ活用することになるとは思いますが。