画像の全てが表示されないWebページでのクローリング

Question

前提・実現したいこと

googleの画像検索等、ページの一番下までスクロールした際に、新たな画像が表示されるページがあります。
こういったページでBeautifulSoupを用いてクローリングをすると、新たな画像が表示されていない状態のhtmlを取得してしまいます。

新たな画像を含めてクローリングをしたい場合、どうすべきでしょうか？

発生している問題・エラーメッセージ

Webページを読み込んだ段階では、表示されていない画像が存在する。
ページに存在する全ての画像(*.jpg, *.png)に対してクローリングを行いたい。

該当のソースコード

import requests
from bs4 import BeautifulSoup
import os


if __name__ == '__main__':
    URL = "クローリングを行うWebページのURL"
    images = []
    soup = BeautifulSoup(requests.get(URL).content, "lxml")
    print(soup)
    for link in soup.find_all("img"): # imgタグを取得しlinkに格納
        if link.get("src").endswith(".jpg"): # imgタグ内の.jpgであるsrcタグを取得
            images.append(link.get("src")) # imagesリストに格納
        elif link.get("src").endswith(".png"): # imgタグ内の.pngであるsrcタグを取得
    	    images.append(link.get("src")) # imagesリストに格納

    os.mkdir(name)
    for target in images: # imagesからtargetに入れる
        re = requests.get(target)
        with open(name + "/" + target.split('/')[-1], 'wb') as f: # imgフォルダに格納
            f.write(re.content) # .contentにて画像データとして書き込む

試したこと

BeautifulSoupの関数や、Developerツールの設定でクローリングを行う前に読み込むことができないか調べました。
しかし満足のいく回答を見つけることができませんでした。

何卒よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

BeautifulSoup 4.7.1
Python 3.7.3

Answer 1

最下行までいくと内容が追加されるサイトは、Webブラウザが、JavaScript を実行して、コンテンツの追加読み込みを処理しているので、JavaScript を解釈して処理する必要があります。

残念ながら BeautifulSoup は、JavaScript を解釈して処理できないので、Python + Selenium + Chrome あたりを用いることになると思います。

Selenium による無限スクロールの取得は、ここでもよく出ている質問なので、「Python Selenium スクロール」あたりのキーワードで google や teratail 等で検索すると類似の内容がいろいろ見つかりますので、検索結果を読んで理解して内容を試してみるのはどうでしょうか。

Comments

[blont]

回答ありがとうございます。

問題を解決するための検索方法が分からず困っていたので、助かりました
検索してみたところ有用な情報が散見されたので、読み込んでみようと思います

ありがとうございました！