Pythonを使ってウェブページ上のgifファイルのURLを取得したい

Question

実現したいこと

Pythonを使って以下のURLにあるgifファイルのURLを取得したいと考えています。
"https://www.sciencedirect.com/book/9780124157590/haschek-and-rousseauxs-handbook-of-toxicologic-pathology"
検証ツールで調べると、gifファイルは以下のURLであることが分かります。
"https://ars.els-cdn.com/content/image/3-s2.0-C20101678509-cov200h.gif"
Beautifulsoupで簡単に取得できるものと思ったのですが、全く上手くいきません。

試したコード

import requests
from bs4 import BeautifulSoup

page_url = "https://www.sciencedirect.com/book/9780124157590/haschek-and-rousseauxs-handbook-of-toxicologic-pathology"
r = requests.get(page_url)
soup = BeautifulSoup(r.content, 'lxml')

img_tags = soup.find_all("img")
img_urls = []

for img_tag in img_tags:
  url = img_tag.get("src")
  if url != None:
    img_urls.append(url)
print(img_urls)

結果

長い文字列が取得され、gifファイルのURLは取得できませんでした。

よろしくお願いいたします。

Answer 1

User-Agent を設定する必要がある様です。

import requests
from bs4 import BeautifulSoup

page_url = "https://www.sciencedirect.com/book/9780124157590/haschek-and-rousseauxs-handbook-of-toxicologic-pathology"
headers = {
  "User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0",
}

r = requests.get(page_url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
img_tag = soup.select_one('div.book-cover > img')
img_url = img_tag['src']
print(img_url)

#
https://ars.els-cdn.com/content/image/3-s2.0-C20101678509-cov200h.gif

Comments

[muryayan]

melianさん、いつもありがとうございます！
JavaScriptで配置されている場合は、そのような方法を使うのですね。大変勉強になります。

[melian]

もしかしたら行き違いになったかもしれないのですが、User-Agent を指定すれば muryayan さんの方法で URL が取れます。この後に回答をもう一度書き換えます。

[muryayan]

ありがとうございます！
User-Agent を指定すれば良いのですね。
こちらのコードの方が私には分かりやすいです！

[muryayan]

もう一度、JavaScriptに画像が配置されている場合の、Codeを教えていただけないでしょうか？
"https://onlinelibrary.wiley.com/doi/book/10.1002/9780470059210"
このURLにあるgif画像のURL"https://onlinelibrary.wiley.com/cms/asset/462716a9-7891-4168-9259-985b5f50764a/9780470059210.cover.gif"を取得したいと思っています。
よろしくお願いいたします。

[melian]

そのページを調べているのですが、requests で取得すると「Please turn JavaScript on and reload the page.」という文言が含まれていて、画像URLに相当する情報が見当たりません(JavaScript内にもないですね…)。もう少し調べてみます。

[muryayan]

ありがとうございます。そうなんです。
Seleniumとか使えばよいのでしょうか？

[melian]

はい、Selenium を使うことをお勧めします。

[muryayan]

ありがとうございます。やってみます。