BeautifulSoupで要素が一部しか取得できません。

前提・実現したいこと

以下のURLのスマホ版サイトのレシピのアイコン画像のURLを取得したいです。
https://cookpad.com/search/%E3%83%95%E3%82%A9%E3%83%BC?page=1&recipe_hit=1190.html

発生している問題・エラーメッセージ

以下のプログラムを実行すると、レシピのアイコンの画像のURLが5個しか取得できませんでした。

1番目https://img.cpcdn.com/recipes/6579867/190x266cq30/c298b91ef2aa2a28a46884e210d9b1ab?u=7822430&p=1609042550
2番目https://img.cpcdn.com/recipes/6642566/190x266cq30/34e557754b43442f3bdcf0eb3128f8e6?u=14761277&p=1612759928
3番目https://img.cpcdn.com/recipes/6508340/190x266cq30/bf953d3d85f950ae8e3ad7f9bac86125?u=1509944&p=1603937578
4番目https://img.cpcdn.com/recipes/6491815/190x266cq30/abc556fdb810d79e5ecd8dd4e94eda50?u=9160862&p=1602816695
5番目https://img.cpcdn.com/recipes/6430013/190x266cq30/e6144683f7ba43db1afe9c54e040faa2?u=41534221&p=1599072638
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし

Process finished with exit code 0

該当のソースコード

python
1from bs4 import BeautifulSoup
2import urllib.request
3URL = "https://cookpad.com/search/%E3%83%95%E3%82%A9%E3%83%BC?page=1&recipe_hit=1190.html"
4headers = {
5        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) > > AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
6        }
7request = urllib.request.Request(url=URL, headers=headers)
8response = urllib.request.urlopen(request)
9html = response.read().decode('utf-8')
10soup = BeautifulSoup(html, "lxml")
11recipe_images = soup.find_all('div',class_='card_image')
12for i, image_url in enumerate(recipe_images, 1):
13        image_tag = image_url.find('img')
14        try:
15                print(str(i) + "番目" + image_tag.get('src'))
16        except:
17                print('該当なし')
18

試したこと

seleniumを使用すると取得できましたが、高速化をしたいので、できればseleniumを使いたくないです。

errormaker74

2021/02/20 06:04

cookpadの利用規約に下記のような記述があります。 https://cookpad.com/terms > 【第16条　禁止事項】 > (12)通常に本サービスを利用する行為を超えてサーバーに負荷をかける行為もしくはそれを助長するような行為、その他本サービスの運営・提供もしくは他の利用者による本サービスの利用を妨害し、またはそれらに支障をきたす行為スクレイピングは「通常に本サービスを利用する行為」を超える可能性が高いとだけお伝えします。