BeautifulSoupを用いたスクレイピングの画像収集条件の設定が上手くできない

Question

実現したいこと

スクレイピングで画像/動画作品を収集する際、各Webページにアクセスした時に、作品が表示される場合は取得し、表示されない場合は取得しないようにしたい（私の１つ前の質問とは内容が異なります）。

前提

閲覧頂きありがとうございます。
現在、danbooruというイラスト投稿サイトにおいて、特定のタグが付与されている作品を収集するソースコードを作っています。

下部に掲示しているソースコードの仕組みについて説明します。
まず以下のページのhtmlをrequestしたあとに作品を収集します。
https://danbooru.donmai.us/posts/6632499?q=jolteon
その後、nextクラスにある次のページのhtmlをrequestして作品を収集します。
https://danbooru.donmai.us/posts/6619855?q=jolteon
そしてまたnextクラスにある次のページのURLをrequestして作品を収集するというのを繰り返してスクレイピングを行います。

そして、danbooruの特徴として、擬人化（？）である一部の作品は、左上にある「Disable all」を押さないと表示されないようになっています。２つ目のURLの次のページは下記のURLであり、表示されない作品ページに該当いたします。
https://danbooru.donmai.us/posts/6619346?q=jolteon

その上で私のやりたいことは、3つ目のURLにあるような、擬人化されているため表示を制限されており「Disable all」を押さないといけない作品は収集しないように設定することです。現状のソースコードでは、表示を制限されている作品であろうとなかろうと収集してしまいます。

上記のことを実現するためのお力添えをいただきたいです。よろしくお願い致します。

### 該当のソースコード


import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

for page in range(end_times):
    response = requests.get(url)

    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    soup = BeautifulSoup(response.text, "html.parser")

    try:
        source = soup.find("img", id="image").get("src") 
    except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
        source = soup.find("video").get("src")
    
    img = requests.get(source)

    with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
        f.write(img.content)

    time.sleep(1)

    next = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next}"   #次のページのURLを作成

試したこと

調べてみた結果、Seleniumを使うと実現できるのではないかと思いました。ですが、その場合は動作が遅くなるデメリットがあるためできるだけ使用したくありません。

加えて、開発者ツールを除いてみると、擬人化の作品ページには下の写真のような黄色で示してある部分がありました。ですがその部分はrenposeで解析したhtmlにはなかったため、find等で認識ができないという状態です。

補足情報（FW/ツールのバージョンなど）

Python==3.11.5
requests==2.31.0
beautifulsoup4==4.12.2

Comments

[ps_aux_grep]

なぜAPI https://danbooru.donmai.us/wiki_pages/help:api を使わずスクレイピングに固執しているのですか？

[lilliveon]

コメントありがとうございます。
理由としましては正直にいいますと、当方APIを利用した経験がないのに対し、スクレイピングの方は簡単なものではありますが何度か実装したことがあるため、こちらの方が時間をかけずに作れると思ったからです。
（本ソースコードにおけるスクレイピングは規約違反ではないことは確認済みです）

ですが、実際は本質問の部分で思わぬ苦戦してしまったため、APIを使った方が良かったかもです。

[ps_aux_grep]

そうですね，APIを使えば https://chat.openai.com/share/61fd18c8-7e49-442d-8b11-955937b0e309 かなり簡単に100件取得できましたし，APIレスポンスに`rating`の項目があったので，これが`g`か否かで判断するのがシンプルかと思われます
あまりにも苦戦するようでしたら乗り換えるのも一手です

[lilliveon]

確かに今回と同じかそれよりも更に応用的な実装を行う際にはAPIの方が速い気がしますし、プログラマーとしてAPiに触れることは確実にプラスになると思いますので、次に実装する時はAPIを使うことにします。
アドバイスに加え参考資料まで提示していただき誠にありがとうございます🙇‍♂

Answer 1

当該のウェブページには blacklisted-tags というメタデータ要素が含まれています。

<meta name="blacklisted-tags" content="guro,scat,furry -rating:g">

また、class 属性 image-container を含む section 要素には data-tags 属性と data-rating 属性があって、これらと blacklisted-tags を照合して表示・非表示を決定している様です。

<section class="image-container note-container" data-id="6632499"
         data-tags="absurdres animal_focus aqua_eyes blue_border border ..."
         data-rating="g" ...

以上から、下記の様になります。

import requests
from bs4 import BeautifulSoup
import os
import time

output_dir = "danbooru_img/jolteon"
end_times = 10000
url = "https://danbooru.donmai.us/posts/6632499?q=jolteon"

os.makedirs(output_dir, exist_ok=True)

for page in range(end_times):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")

    btags = soup.select_one('meta[name=blacklisted-tags]').get('content')
    blacklisted_tags = btags.split(' ')[0].split(',')
    blacklisted_rating = btags.split(' ')[-1].split(':')[-1]
    img_container = soup.select_one('section.image-container')
    data_tags = img_container.get('data-tags').split(' ')
    data_rating = img_container.get('data-rating')

    # data-tags に blacklisted-tags が含まれていない、もしくは data-rating が blacklisted rating に
    # 等しい("-rating:g" となっているので)場合にコンテンツを保存する
    if not ({*data_tags} & {*blacklisted_tags}) or data_rating == blacklisted_rating:
        try:
            source = soup.find("img", id="image").get("src") 
        except AttributeError:   # 作品が画像ではなく動画である場合はエラーが発生するのでこちらを実行
            source = soup.find("video").get("src")
    
        img = requests.get(source)

        with open(f"{output_dir}/{source.split('/')[-1]}", 'wb') as f:
            f.write(img.content)

    time.sleep(1)
    next_url = soup.find("a", class_="next").get("href")
    url = f"https://danbooru.donmai.us/{next_url}"   #次のページのURLを作成

Comments

[lilliveon]

分かりやすく丁寧な解説をしてくださり大変参考になりました。
おかげさまで原理も含めてちゃんと理解することができました。
本当にありがとうございました🙇‍♂