Seleniumで画像をダウンロードするとHTTPエラー403で止まってしまう事がある

Question

調べたところユーザーエージェントを偽装したら解決するとみて設定をしたのですが、
同じくhttps://blog.nogizaka46.com/renka.iwamoto/img/2022/01/05/8211111/0001.heic
でエラーで弾かれてしまいました。driver.getに直接上記のurlを入れてアクセスを試したところ問題はなかったので、for文で何か間違っていると見ていますが、分かりませんでした。
ご存知の方ご教授お願い致します。

from time import sleep
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import re
import urllib

options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36'
options.add_argument('--user-agent=' + UA)
driver = webdriver.Chrome(chrome_options=options,executable_path='chromedriver')
url = "https://blog.nogizaka46.com/"
member_name = "renka.iwamoto"   #名前.名字
driver.get(url+member_name)

base_element = driver.find_element_by_css_selector('.right2in')
img_list =base_element.find_elements_by_css_selector('img')

print(len(img_list))
for i,ele in enumerate(img_list):
    link = ele.get_attribute('src')
    sleep(1)
    print(link)
    urllib.request.urlretrieve(link,'./画像/'+str(i)+'.jpg')

出力結果
20
https://img.nogizaka46.com/blog/renka.iwamoto/img/2022/02/02/8551656/0001.jpeg
https://img.nogizaka46.com/blog/renka.iwamoto/img/2022/02/02/8551656/0000.jpeg
https://img.nogizaka46.com/blog/renka.iwamoto/img/2022/02/02/8551656/0002.jpeg
https://img.nogizaka46.com/blog/renka.iwamoto/img/2022/02/02/8551656/0003.jpeg
https://img.nogizaka46.com/blog/renka.iwamoto/img/2022/02/02/8551656/0004.jpeg
https://blog.nogizaka46.com/renka.iwamoto/img/2022/01/05/8211111/0001.heic

HTTPError: HTTP Error 403: Forbidden

Comments

[melian]

driver.get(url)
と書かれていますが、これは
driver.get(url + member_name)
ではないでしょうか？

[nogisuki]

ご指摘ありがとうございます。
実際のコードではdriver.get(url + member_name)となっていましたので、記述ミスになります。

Answer 1

urllib.request にも User-Agent を設定してみてはどうでしょうか。

base_element = driver.find_element_by_css_selector('.right2in')
img_list =base_element.find_elements_by_css_selector('img')

# set User-Agent to HTTP header in urllib.request
opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', UA)]
urllib.request.install_opener(opener)

print(len(img_list))
for i,ele in enumerate(img_list):
    link = ele.get_attribute('src')
    sleep(1)
    print(link)
    urllib.request.urlretrieve(link,'./画像/'+str(i)+'.jpg')

Comments

[nogisuki]

ありがとうございます。
urllib.requestにも設定しましたら無事保存できました！