スクレイピングで画像がファイルに保存されない

Question

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import os
from time import sleep

options = Options()
options = webdriver.ChromeOptions()
options.add_argument("--headless")
# browser = webdriver.Chrome(ChromeDriverManager().install(),options=options)
browser = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.google.co.jp/imghp?hl=ja"
browser.get(url)

# kw_search = browser.find_elements_by_css_selector("#sbtc > div > div.a4bIc > input")
kw_search = browser.find_element(By.CSS_SELECTOR,'input')
actor_name = input("検索したい画像の名前やキーワードを入力してください")
# actor_name_number = input("次に検索したい画像の枚数を入力してください")

kw_search.send_keys(str(actor_name))

from selenium.webdriver.common.keys import Keys
kw_search.send_keys(Keys.ENTER)

cur_url = browser.current_url

res = requests.get(cur_url)
soup = BeautifulSoup(res.text,"html.parser")

# img_tags = soup.find_all("img,limit = int(actor_name_number)")
img_tags = soup.find_all("img,limit = 10")
img_urls = []

for img_tag in img_tags:
    url_a = img_tag.get("src")
    if url_a != None:
        img_urls.append(url_a)

# save_dir = input("保存先のフォルダ名をつけてください/")
save_dir = "画像ダウンロードフォルダ/"
if not os.path.exists(save_dir):
    os.mkdir(save_dir)

for elem_url in img_urls:
    try:
        r = requests.get(elem_url)
        with open(save_dir,"wb")as fp:
            fp.write(r.content)
        sleep(0.1)
    except:
        pass

browser.quit()

Pythonでスクレイピングのコード（上記）を模写しながら勉強しています。上記ができたコードでファイルがなかったら自分で名前をつけてファイルを作ってくれてそれに画像を保存できるようにしているつもりなのですが、ファイルが作成されるだけで画像が保存されませんでした。最初はエラーが多発していてそれを修正していった結果、エラーは出なくなりましたが今の結果に至っています。なにかコードに足りない部分があるのでしょうか？エラーが出ない分よけいに原因がわからずに止まっています。

https://pepenoheya.blog/python-scraping-google-img-search/
↑
元にしたコードです。

VS Code
version 1.76.0 (Universal)

requests
version 2.28.2

selenium
version 4.8.2

web_driver_manager
version 3.8.5

bs4
version 0.0.1

Comments

[8524ba23]

コードは画像ではなくテキスト（コードの挿入）で提示ください。

[MennMenn]

ご指摘ありがとうございます！テキストに変更させていただきました。

[melian]

変更点は2箇所あって、

# img_tags = soup.find_all("img,limit = 10")
img_tags = soup.find_all("img")[:10]

と、

#with open(save_dir,"wb")as fp:
with open(f'{os.path.join(save_dir, os.path.basename(elem_url))}',"wb")as fp:

です。ファイル名は適当に変更してください。

[MennMenn]

melianさん、ご回答ありがとうございます！うまく保存することができました。これはBeatifulsoupとosライブラリのバージョンアップに伴って表記方法が変化したという認識であっていますか？

[melian]

そうですね、、soup.find_all("img,limit = 10") と書かれていますが、"img,limit =10" という表記は、(私の記憶では)何にもマッチしないかと思います。また、with open(save_dir,"wb")as fp: についてですが、これですとディレクトリ名だけを指定していますのでエラーになっているはずです。(try 節でエラーが潰されてしまっているのでエラーメッセージが表示されません)

[MennMenn]

エラーがtryでつぶされることもあるんですね、、、ありがとうございました！

[MennMenn]

ちなみになんですが、melianさんの回答をベストアンサーにしたいのですが、ベストアンサーに選択するボタンが出てこないのは何故かわかりますか？

[melian]

はい、コメント欄に書いた回答にはベストアンサーを付けることができません。MennMenn さんが自己回答して、それをベストアンサーにするか、私が回答欄に転記するかのどちらかになります。

[otn]

> エラーがtryでつぶされることもあるんですね、、、
try except: pass はエラーを潰す（エラーメッセージを出させなくする）のが目的ですよ。
それ以外の何の目的で書いたのでしょうか？

[MennMenn]

otnさん、すいませんこちらの書き込みの表現が悪かったです。本来表示して欲しいエラーも潰してしまうということを言いたかったです。

[otn]

はい。
「つぶされることもある」は、「つぶされることも、つぶされないこともある」という意味ですが、
つぶされないことはないです。
try except: pass は、エラーメッセージを表示させない目的で書いたのでは無いのですか？

[MennMenn]

そのつもりでしたが、そのせいで元々の質問の原因であるエラーが発見できませんでした。

[otn]

エラーメッセージを表示させなければ、エラーが発見できないわけですが、そう思わなかったと言うことでしたか。なるほど。

Answer 1

とりあえず動くレベルで直しました。と思ったらもう答え出てましたね。
グーグルのロゴをダウンロードしようとしてエラーになっていたりしてはいますが、とりあえずご参考まで。

修正箇所は

1. img_tags = soup.find_all("img",limit = 10) 質問にて指摘されている通り
2. 画像を保存する場所の指定がディレクトリ名のみになっていて絶対書き込めないのでファイル名を適当につけるように修正。

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import os
from time import sleep

options = Options()
options = webdriver.ChromeOptions()
options.add_argument("--headless")
# browser = webdriver.Chrome(ChromeDriverManager().install(),options=options)
browser = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.google.co.jp/imghp?hl=ja"
browser.get(url)

# kw_search = browser.find_elements_by_css_selector("#sbtc > div > div.a4bIc > input")
kw_search = browser.find_element(By.CSS_SELECTOR,'input')
actor_name = "絵画"
# actor_name_number = input("次に検索したい画像の枚数を入力してください")

kw_search.send_keys(str(actor_name))

from selenium.webdriver.common.keys import Keys
kw_search.send_keys(Keys.ENTER)

cur_url = browser.current_url

res = requests.get(cur_url)
soup = BeautifulSoup(res.text,"html.parser")

# img_tags = soup.find_all("img,limit = int(actor_name_number)")
img_tags = soup.find_all("img",limit = 10)
img_urls = []

for img_tag in img_tags:
    print(img_tag)
    url_a = img_tag.get("src")
    if url_a != None:
        img_urls.append(url_a)

# save_dir = input("保存先のフォルダ名をつけてください/")
save_dir = "画像ダウンロードフォルダ/"
if not os.path.exists(save_dir):
    os.mkdir(save_dir)

for i in range(0, len(img_urls)):
    elem_url = img_urls[i]
    try:
        path = os.path.join(save_dir, f"画像_{i}.jpg")
        print(f"path={path}")

        r = requests.get(elem_url)
        with open(path,"wb") as fp:
            fp.write(r.content)
        sleep(0.1)
    except Exception as e:
        print(e)

#input('hit any key to exit')
browser.quit()

Answer 2

melian
2023/03/09 11:53

変更点は2箇所あって、

img_tags = soup.find_all("img,limit = 10")

img_tags = soup.find_all("img")[:10]

と、

#with open(save_dir,"wb")as fp:
with open(f'{os.path.join(save_dir, os.path.basename(elem_url))}',"wb")as fp:

です。ファイル名は適当に変更してください。