pythonでのスクレイピング、画像保存について

Question

要約

startswithとendwithを両方同時に使い、andではなくorで検索をしたい
画像およそ50件中3件しか画像が保存できていない、そもそも最初の目標は各種アイコンをクリックした際に表示されるような500pxサイズの画像

前提・実現したいこと

• startswithとendwithを両方同時に使い、andではなくorで検索をしたいです。

また、このコードを走らせたときに出力される画像には拡張子がつかず、画像としてのファイルになりません。

というのも、大抵のサイトの画像リンクにおいて画像リンクが拡張子（.jpg,.png）で終わっているのに対して、コード上でスクレイピングしてきたリンクは

<img src="https://static.wikia.nocookie.net/apexlegends_gamepedia_en/images/e/e6/Site-logo.png/revision/latest?cb=20210602000018" width="200" height="179" alt="Apex Legends Wiki" data-test="fandom-community-header-community-logo">

というようになっており、コード通りに取得すると保存されるファイルは
https---static-wikia-nocookie-net-apexlegends_gamepedia_en-images-e-e6-Site-logo-png-revision-latest-cb=20210602000018
というように最後が数字で終わる形となりました。

先の質問で教えてもらった通り、Windows下でファイル名として使えない文字がエラーの原因になっていたことから、問題となっていた「？」をハイフンに置き換えることにはなんとか成功しました。

しかし、そもそも切り出してくる場所として"Site-logo.png"の部分が必要だという結論に至りました。

そしてその上でsplit関数の詳細な使い方がわかりません。
具体的には、末尾でなく真ん中にある"Site-logo.png"を持ってくるためにどう書き換えればいいのかということです。
マイナス１となっているところの数値を-5にし、除外されている文字から"/"を解除することで成功しました。

まだ問題がありました。

• なぜか3件しか画像が保存できていません。

目標は50件以上あります。３件の画像LINKとそれ以外で何が違うのか見比べましたがわかりませんでした。
また保存できた画像に関して120pxのものが３件でしたが、目標はアイコンをクリックしたときに表示される500pxのものでした。　これに関してはクリックしないと元のテキスト上にはないデータということでしょうか？

長文すみません。よろしくお願いします。

質問投稿時のコードの状態（latest）

import requests
from requests.compat import urljoin
from bs4 import BeautifulSoup

URL = 'https://apexlegends.fandom.com/wiki/Category:Ability_icons' 
images = []

soup = BeautifulSoup(requests.get(URL).content,'lxml')

for link in soup.find_all("img"):
    if link.get("src").startswith("https://static.wikia.nocookie.net/apexlegends_gamepedia_en"):
        
        print(link.get("src"))
        # 相対URLから絶対URLに変換
        images.append(urljoin(URL, link.get("src")))

import re
for target in images:
    resp = requests.get(target)
    f = re.sub(r'[\:|?|.|"|<|>|\|]', '-', target)
    #with open('img/' + target.split('/')[-1], 'wb') as f: →原文
    #マイナス１のところ変えれば中央にあるデータも持ってこれる？
    with open('img/' + f.split('/')[-5], 'wb') as g:
        g.write(resp.content)

質問書き始めのコードの状態

（直接問題には関係ないので読み飛ばして頂いて構いません）

import requests
from requests.compat import urljoin
from bs4 import BeautifulSoup

URL = 'https://apexlegends.fandom.com/wiki/Category:Ability_icons'
images = []

soup = BeautifulSoup(requests.get(URL).content,'lxml')

for link in soup.find_all("img"):
    #if link.get("src").endswith(".jpg"):if link.get("src").endswith(".png"): から変更、画像取得形式の指定？モスのサイトで.pngにてpngで終わるリンクの画像取得を確認
    if link.get("src").startswith("https://static.wikia.nocookie.net/apexlegends_gamepedia_en"):
        
        print(link.get("src"))
        # 相対URLから絶対URLに変換
        images.append(urljoin(URL, link.get("src")))

import re
for target in images:
    resp = requests.get(target)
    f = re.sub(r'[\|/|:|?|.|"|<|>|\|]', '-', target)
    with open('img/' + f.split('/')[-1], 'wb') as g:
        g.write(resp.content)

補足情報（FW/ツールのバージョンなど）

Windows10 Python3.7 64bit Visual Studio

Comments

[otn]

> 目標は50件以上あります。３件の画像LINKとそれ以外で何が違うのか見比べましたがわかりませんでした。

プログラムで見ているのは、あなたが別途開いたブラウザで見えるHTMLじゃなくて、requests.get(URL).content で取得したHTMLですが、そこの認識は大丈夫でしょうか？
どうやってプログラムで取得するのかは、requests.get(URL).content のデータを見ましょう（HTMLなのでこれをブラウザで見ても良いですが）。

[Potat3rd]

import requests
from bs4 import BeautifulSoup

response = requests.get('https://apexlegends.fandom.com/wiki/Category:Ability_icons')
soup = BeautifulSoup(response.text,'lxml')
links = soup.findAll('a')
for link in links:
print(link.get('href'))

上記で取得できるリンクの画像のみということでしょうか。
そうだとしたらどうすれば奥の画像まで手が届くでしょうか・・・。

[otn]

> 上記で取得できるリンクの画像のみということでしょうか。
そうですね。

> そうだとしたらどうすれば奥の画像まで手が届くでしょうか・・・。
よく行われているのは、ブラウザを使う方法です。Seleniumというのを調べてみましょう。このサイトでもたくさん質問が出ていますが、2-3割はセットアップのやり方がわからない人の質問ですね。

[Potat3rd]

Selenium案件でしたか。。複雑な作業に使われるイメージがあり、遅いというのを見たので後で触れようと考えていましたが調べてみます。ありがとうございます。