ウェザーニューズをスクレイピングしたい

Question

前提

ウェザーニューズをスクレイピングしたいが参考サイトの様に情報を取り出せない。
参考サイト
https://www.google.com/amp/s/www.autumn-color.com/archives/1654%3famp=1

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• 参考サイトの様に表示させる。
• 天気によって表示画像を変える。（晴れは太陽など）

発生している問題・エラーメッセージ

どの変数でどうやって情報を取り出したら良いか分からない。

該当のソースコード

#緯度経度を取得
def Location(address):
    Url = "https://www.geocoding.jp/api/"
    Params = {"q":address}
    Req = requests.get(Url, params=Params)
    Soup = BeautifulSoup(Req.text, 'lxml')


    return Soup.find("lat").text, Soup.find("lng").text


#WeatherNewsの取得
def WeatherNews(address):
    Url = "https://weathernews.jp/onebox/"

    #緯度経度を取得
    (Lat, Lng) = Location(address)

    SrhUrl = Url + Lat + '/' + Lng + "/lang=ja"

    Req = requests.get(SrhUrl)
    Soup = BeautifulSoup(Req.text, 'lxml')

    #Dict
    myDict = {}

    #天気
    myDict["天気"] = Soup.find(class_="sub").text.split(", ")[1]

    #気温
    myDict["気温"] = Soup.find(class_="obs_temp_main").text

    #風速とかの情報
    for val in Soup.find(class_="table-obs_sub").find_all("tr"):
        myDict[val.find(class_="obs_sub_title").text] = val.find(class_="obs_sub_value").text.replace(" : ","")

    return myDict

def main(address):
    print(address + "の天気")
    print("---")
    Rst = WeatherNews(address)

    for val in Rst:
        print(val, Rst[val])


if __name__ == '__main__':
    main("石川県金沢市")

試したこと

console.log()等で調べてみたのですが分からない。

Comments

[melian]

参照されている記事は3年程前のものですが、現状のウェザーニュースでは sub や obs_temp_main class などの要素は存在しません。

[m.ts10806]

公式に提供されているAPI探してください。
スクレイピングはかなりブラックよりのグレーな行為です。

Answer 1

ウェザーニューズの利用規約には
コンテンツの全部又は一部につき複製、翻訳、翻案、放送、出版、販売、貸与、二次利用その他WNIの著作権を侵害する各行為に及ぶこと。
をしてはなりませんとありますが、事前に株式会社ウェザーニューズの許可は得ていますか？

得ていない場合で天候のデータが必要であれば、気象庁HPから気象データをCSVにてダウンロード可能となっていますのでそちらから入手できます。

そうではなくスクレイピングの練習がしたいのであれば練習用のサイトもあるようですのでそちらを利用されるのが良いかと思います。（「スクレイピング 練習サイト」で検索するといくつか見つかります）