Pythonで指定したWebサイトから画像URLを取得したい

Question

前提・実現したいこと

Pythonでスクレイピングをしてポケモンカード検索のカードの画像URLを取得できるようにしたいと思っています。保存はしません。

発生している問題・エラーメッセージ

Pythonのスクレイピングで、いらすとやの画像を一気にダウンロード
こちらのサイトを参考にしてみましたが、URLのリストをprintで出力しても何も出力されませんでした。

該当のソースコード

import requests
from bs4 import BeautifulSoup
import time

key = "ピカチュウ"
# key = input()
url = "https://www.pokemon-card.com/card-search/index.php?keyword=" + key + "&se_ta=&regulation_sidebar_form=XY&pg=&illust=&sm_and_keyword=true"

linklist = []

# keyword= カード名
# se_ta=   カードの種類
# egulation_sidebar_form= レギュレーション

html = requests.get(url).text
soup = BeautifulSoup(html, 'lxml')

img_list =soup.select('div > ul > li > div > a > img')

for a in img_list:
    link_url = a.attrs['href']
    linklist.append(link_url)

    time.sleep(1.0)

for page_url in linklist:
    page_html = requests.get(page_url).text
    page_soup = BeautifulSoup(page_html, "lxml")
    img_list = page_soup.select('div.entry > div > a > img')

    for img in img_list:
        img_url = (img.attrs['src'])
        print(img_url)

補足情報（FW/ツールのバージョンなど）

Python 3.9.0
beautifulsoup4 4.10.0
requests 2.27.1

Answer 1

ポケモンカード検索用の API が提供されていますので、それを使います。パラメータにキーワードを含めて HTTP POST を実行すると検索結果が JSON 形式で返ってきます(この情報を使って当該ページの内容をレンダリングしている様です)。

import requests
import json

site_top_url = 'https://www.pokemon-card.com'
search_api_url = f'{site_top_url}/card-search/resultAPI.php'
# key = input()
key = "ピカチュウ"
search_param = {
  'keyword': key,
  'se_ta': '',
  'regulation_sidebar_form': 'XY',
  'illust': '',
  'sm_and_keyword': 'true',
}

json_text = requests.post(search_api_url, data=search_param).text
json_dict = json.loads(json_text)

img_urls = []
for d in json_dict['cardList']:
    img_urls.append(site_top_url + d['cardThumbFile'])

from pprint import pprint
pprint(img_urls)

#
['https://www.pokemon-card.com/assets/images/card_images/large/SN/041153_P_PIKACHIXYUUBUI.jpg',
 'https://www.pokemon-card.com/assets/images/card_images/large/SI/040375_P_PIKACHIXYUU.jpg',
 'https://www.pokemon-card.com/assets/images/card_images/large/SI/040610_P_PIKACHIXYUU.jpg',
 'https://www.pokemon-card.com/assets/images/card_images/large/SI/040377_P_PIKACHIXYUUV.jpg',
                                             :

Comments

[PJwnOI]

APIが提供されていたんですね．知りませんでした．
時間があるときに試してみます．

[PJwnOI]

正しくできました。ありがとうございました。

ポケモンカード検索用のAPIというのはどこで見つけられましたか？
Webサイトで開発者用ツールを使いましたが、Webに疎く、見つけられませんでした。

[melian]

その開発者用ツール(ウェブコンソール)で通信状況を確認していて、その中の XHR(XMLHttpRequest)通信を見ていて気が付いたのでした(XHR 通信の場合、[XHR] というアイコンが表示されます)。

[PJwnOI]

ありがとうございます。
他のことに参考にさせていただきます。