スクレイピング初心者です。助けてください。。。

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
（例）PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。
pythonを使ってスクレイピングをしています。天気の情報を表から抽出したいのですがエラー、結果共に何も表示されません。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

url = "https://openweathermap.org/city/1850144"
soup = BeautifulSoup(requests.get(url).content,"html.parser")

for sibling in soup.find_all("table",{"id"}):
print(sibling)

ソースコード

試したこと

ここに問題に対して試したことを記載してください。
for文の内容が間違っているのかと考え思考錯誤しましたが結果は変わりませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[_Victorique__]

質問は何ですか？
せめて出力結果を載せてください

Answer 1

対象のサイトはAjax通信により、表示後にデータを取得しています。

その場合、Seleniumを組み合わせて使う必要があります。
https://qiita.com/gtaiyou24/items/21d7d3b539c43e6616a6

また、maisumakunさんが指摘している件ですが、Website terms and conditions of useで明確にスクレイピングは禁止されています。

Comments

[kira-kira]

ありがとうございます。理解できました。このサイトをスクレイピングするのはやめようと思います。

Answer 2

OpenWeatherMapは、APIのあるサービスです。

公式にAPIを用意しているものでスクレイピングを行うのは、不適当だと考えます。

Comments

[kira-kira]

申し訳ございません。勉強を始めたばかり知識が乏しくAPIがなんなのかよくわかりません。公式にAPIが用意されているというのはスクレピングなどをする事が不可能もしくはやってはいけない行為であるという事なのでしょうか？

[maisumakun]

moonphaseさんのコメントにあるように、スクレイピングの禁止も明記されていました。

そうでなくても、APIがあるのにスクレイピングで情報を得ようとするのは、スーパーで何も買わずに試食を山ほど食べていくようなものです。「ただで配っているんだからどれだけもらったっていいじゃないの」という図太い神経があるなら止めませんが、最悪の場合は業務妨害にもなりかねません。

[kira-kira]

わかりやすい例えありがとうございます。気をつけようと思います。

Answer 3

ブラウザで"https://openweathermap.org/city/1850144"にアクセスして、ソースを見た事ありますか？
"table"という文字列は、上記のページに一つも含まれていませんよ。

　そのため、sibling in soup.find_all("table",{"id"}) で siblingがNull（空っぽ：該当なし）になるので、表示される結果がない。
探したけど見つからないので表示しなかったというのは、正しい動作なのでエラーは出ない。

スクレイピングする際に最初にすべきことは、元のデータ(HTML)がどういう構造になっているかを知ることです。そのためには、そのページのソース（HTML)を見ることです。