pythonスクレイピングでsoup.find(class_= "")で中身がNoneで返ってきてしまいます。

Question

yahoo画像検索から
検索された『最初の一枚だけ』を取得したいと思い

from bs4 import BeautifulSoup
import requests

get_image = []

url = "https://search.yahoo.co.jp/image/search?p=B%27z%20%E3%82%A2%E3%83%BC%E3%83%86%E3%82%A3%E3%82%B9%E3%83%88&fr=top_ga1_sa&fr=top_ga1_sa&ei=UTF-8&ei=UTF-8&tshoo.co.jp%2Fimage%2Fsearch%3Fp=AKB48%20%E3%82%A2%E3%83%BC%E3%83%86%E3%82%A3%E3%82%B9%E3%83%88&ts="

r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
get_image = soup.find(class_= "sw-Thumbnail__image sw-Thumbnail__image--tile")

print(soup)
print(get_image)

python 画像　スクレイピング
でググり
こちらを書いてみました。

soupの中身はURLのhtmlが取得できているのが確認できます。
しかし、print(get_image)の部分で
Noneと返ってきてしまいます。
試しに　別のクラスでやってみてもNoneで返ってきます。

python find noneとかでググると
findは要素が見つからないとNoneを返す
といった内容を見ました。

しかし、

get_image = soup.find(class_= "sw-Thumbnail__image sw-Thumbnail__image--tile")

のコードは、私が調べた程度ですが
間違っていないだろうと思ってたので
こちらで質問させていただきました。

どこが間違ってるか
get_imageの中身を確認するにはどうすればいいか
教えていただけると幸いです。
宜しくお願い致します。

Comments

[meg_]

print(soup)で表示される中に対象のクラスは存在していますか？

[dd_]

ご回答ありがとうございます。
あれ、、、存在しませんね。
教えてくださりありがとうございます！
ということは、BeautifulSoupのところで問題があることになるんでしょうか？

[meg_]

おそらくBeautifulSoupでは解析できないサイトの構造だと思います。

[dd_]

ありがとうございます！
勉強になりました。
サイトの構造に合わせた解析のやり方を勉強しなおします！

Answer 1

のコードは、私が調べた程度ですが間違っていないだろうと思ってたので

構文は間違ってませんが、Noneが返る以上間違っています。
可能性1：クラスの指定が間違っている。
可能性2：そもそも、r.textの中に目的のクラスが存在しない（方針が間違っている）。

おそらく可能性2でしょう。
r.textの中に無くて、JavaScriptで動的に追加されたノードでは？
Selenium等、JavaScriptで動的に追加されるノードに対応できるツールを使いましょう。

あと、サイトの利用規約にスクレイピングに関しての記述がある可能性があるので、確認しましょう。

Comments

[dd_]

ご回答ありがとうございます。
もう一度勉強しなおします！