Python Webスクレイピング ページ内の画像を全て保存したい。

Question

Pythonを初めて数日の初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

検索してもわからなく、つまづいているので詳しい方教えて下さいm(__)m

※Windows10のコマンドプロンプトから実行しています。
※Webスクレイピングの規約は確認しています。

★やりたいこと★

ホットペッパーで適当に検索したページになりますが、料理メニューの写真を
Webスクレイピングで取得して、指定のフォルダに保存したい。

■問題■
ページ内の写真を全て保存したいのですが、１枚しか保存されません。
どこをどう直したらいいかわかりません。

■参考にしているサイト■
https://hashikake.com/scraping_img#source

★使用しているコード★

#●画像ファイルをダウンロードするための準備
# ①-①.ライブラリをインポート
import time
import re
import requests
from pathlib import Path
from bs4 import BeautifulSoup
# ①-②.出力フォルダを作成
output_folder = Path('C:\python\img')
output_folder.mkdir(exist_ok=True)
# ①-③.スクレイピングしたいURLを設定
url = 'https://www.hotpepper.jp/strJ001218137/food/'

# ①-④.画像ページのURLを格納するリストを用意
linklist = []

#●検索結果ページから画像のリンクを取り出す
# ②-①.検索結果ページのhtmlを取得
html = requests.get(url).text
# ②-②.検索結果ページのオブジェクトを作成
soup = BeautifulSoup(html, 'lxml')
# ②-③.画像リンクのタグをすべて取得
a_list =soup.select('div.columnPlex > p > a')
# ②-④.画像リンクを1つずつ取り出す
for a in a_list:
# ②-⑤.画像ページのURLを抽出
    link_url = a.attrs['href']
# ②-⑥.画像ページのURLをリストに追加
    linklist.append(link_url)
    time.sleep(1.0)


# ③-⑦.画像ファイルの名前を抽出
filename = re.search(".*/(.*png|.*jpg)$",link_url)
# ③-⑧.保存先のファイルパスを生成
save_path = output_folder.joinpath(filename.group(1))
time.sleep(1.0)
# ●画像ファイルのURLからデータをダウンロード
try:
# ④-①.画像ファイルのURLからデータを取得
image = requests.get(link_url)
# ④-②.保存先のファイルパスにデータを保存
open(save_path, 'wb').write(image.content)
# ④-③.保存したファイル名を表示
print(save_path)
time.sleep(1.0)
except ValueError:
# ④-④.失敗した場合はエラー表示
print("ValueError!")

宜しくお願いします。

Answer 1

ページ内の写真を全て保存したいのですが、１枚しか保存されません。

質問のコードだと 「# ③-⑦.画像ファイルの名前を抽出」より後ろの部分は、1回しか実行されませんので、1枚しか保存されないのでしょう。

「# ③-⑦.画像ファイルの名前を抽出」から後ろの部分を　必要な分だけ実行すれば良いと思います。

---

もしかして、画像を取得する部分もループの中で実行しているつもりで書かれたコードでしょうか？

Python は、インデントが重要ですが、インデントについて理解はされていますか？

---

参考にされたサイトのようにするのであれば、前半で抽出して、リストに追加した linklist を利用してループする for page_url in linklist: を追加して、「# ③-⑦.画像ファイルの名前を抽出」から後ろの部分をインデントして、追加した for ループの中に入れてください。

また、try: や except ValueError: で実行する部分にもインデントが必要です。

例(後半部分のみ記載)

for page_url in linklist:
    # ③-⑦.画像ファイルの名前を抽出
    filename = re.search(".*/(.*png|.*jpg)$",link_url)
    # ③-⑧.保存先のファイルパスを生成
    save_path = output_folder.joinpath(filename.group(1))
    time.sleep(1.0)
    # ●画像ファイルのURLからデータをダウンロード
    try:
        # ④-①.画像ファイルのURLからデータを取得
        image = requests.get(link_url)
        # ④-②.保存先のファイルパスにデータを保存
        open(save_path, 'wb').write(image.content)
        # ④-③.保存したファイル名を表示
        print(save_path)
        time.sleep(1.0)
    except ValueError:
        # ④-④.失敗した場合はエラー表示
        print("ValueError!")

---

また、今回の質問のプログラムでは、下記のようにインデントを修正して、1つ目の for ループ内に後半部分を入れるだけでも同じ機能になると思われます。(目指していたのはこちらでしょうか？)

#●画像ファイルをダウンロードするための準備
# ①-①.ライブラリをインポート
import time
import re
import requests
from pathlib import Path
from bs4 import BeautifulSoup
# ①-②.出力フォルダを作成
output_folder = Path('C:\python\img')
output_folder.mkdir(exist_ok=True)
# ①-③.スクレイピングしたいURLを設定
url = 'https://www.hotpepper.jp/strJ001218137/food/'

# ①-④.画像ページのURLを格納するリストを用意
linklist = []

#●検索結果ページから画像のリンクを取り出す
# ②-①.検索結果ページのhtmlを取得
html = requests.get(url).text
# ②-②.検索結果ページのオブジェクトを作成
soup = BeautifulSoup(html, 'lxml')
# ②-③.画像リンクのタグをすべて取得
a_list =soup.select('div.columnPlex > p > a')
# ②-④.画像リンクを1つずつ取り出す
for a in a_list:
# ②-⑤.画像ページのURLを抽出
    link_url = a.attrs['href']
# ②-⑥.画像ページのURLをリストに追加
    linklist.append(link_url)
    time.sleep(1.0)

    # ③-⑦.画像ファイルの名前を抽出
    filename = re.search(".*/(.*png|.*jpg)$",link_url)
    # ③-⑧.保存先のファイルパスを生成
    save_path = output_folder.joinpath(filename.group(1))
    time.sleep(1.0)
    # ●画像ファイルのURLからデータをダウンロード
    try:
        # ④-①.画像ファイルのURLからデータを取得
        image = requests.get(link_url)
        # ④-②.保存先のファイルパスにデータを保存
        open(save_path, 'wb').write(image.content)
        # ④-③.保存したファイル名を表示
        print(save_path)
        time.sleep(1.0)
    except ValueError:
        # ④-④.失敗した場合はエラー表示
        print("ValueError!")

Comments

[pythonbegginer]

早速の回答ありがとうございます。Progateと併用して練習しているのですが、４行インデント、、となんとなくしか分かってないですね涙。。。

そうですねループのをしたいのですが、Forを使うことはわかるのですが、全然わからなくて。。。

参考にできるサイトとか教えてもらえると大変助かります。
もう少し勉強してみます。

[pythonbegginer]

ひえーーー(´;ω;｀)完璧すぎるコードをありがとうございます！まさにそれでした！嬉しいです。
インデントがこんなに大事だったとは・・・・。もっと勉強して頑張ります。

本当にありがとうございます。

Answer 2

ファイル上書きで最後のデータしか書き込まれていないのではないでしょうか？

open(save_path, 'wb').write(image.content)

Pythonでファイルの読み込み、書き込み（作成・追記）

Comments

[pythonbegginer]

ありがとうございます。