python スクレイピングで画像を取得したい（複雑なhtml構造）

Question

実施したいこと

スクレイピングで複雑なhtml構造のサイトから画像を取得したい

取得したいサイトのhtml構造

<span class="image" style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg)"></span>

試したこと

#画像取得
for i in range(7):
    for elem in browser.find_elements_by_xpath('xxxxxxxxx/a/img'.format(i)):
        try:
                imgs = elem.get_attribute('src')
                image = io.BytesIO(request.urlopen(imgs).read())
                img = Image.open(image)
                img = img.resize((560, 250))
                img.save(xxxx{}.jpg'.format(i))
        except OSError:
                pass

これまでの構造とは方法とは異なり、取得することができません。
アドバイスのほど、よろしくお願いいたします。

Answer 1

python - Extracting url from style: background-url: with beautifulsoup and without regex? - Stack Overflow
Stack Overflowに同様の質問がありました。質問のにあるHTMLに合わせると以下のようになります。

from bs4 import BeautifulSoup
import cssutils, re

soup = BeautifulSoup('<span class="image" style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg)"></span>', 'lxml')

# 正規表現なし
style = cssutils.parseStyle(soup.span['style'])
url = style['background-image'].replace('url(', '').replace(')', '')
print(url)
# /xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg

# 正規表現あり
print(re.findall(r'((.*?))', soup.span['style'])[0])
# /xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg

cssutilsを使うことでcssを解析しているようです。ただそれでもurl部分のみ取り出すということはできないようで、最終的にはいらない部分を空白で置換してurlのみを取り出しています。

Stack Overflowの質問者さんは正規表現を使わない方法を探していたようですが、正規表現を使った方が楽そうですね。

Comments

[退会済みユーザー]

mistn様

丁寧なご回答誠にありがとうございます。
取得できない理由が理解できました。

1つの画像urlだけでなく、複数の取得を行いたい場合
記載いただきました内容をどう変更すればよいでしょうか？
何卒宜しくお願い致します。
下記、取得したいデータ構造です。
--
soup = BeautifulSoup('<span class="image" style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/←ここまではどのurlも同じ構造。以降は別　xxx/xxxx.jpg)"></span>', 'lxml')

[mistn]

> ←ここまではどのurlも同じ構造。以降は別
の部分がよくわからないのですがどういう意味ですか？

[退会済みユーザー]

mistn様

いつもありがとうございます。
分かりづらく、大変失礼いたしました。

以降はjpg名が異なるという意味です。
依然として、解決できていない状況です。

何卒宜しくお願い致します。

[mistn]

style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg), url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/yyy.jpg)"
のようにいくつかurlがあるという認識であってますか？

であれば
re.findall(r'((.*?))', soup.span['style'])
だけですべてのurlがリストで取得できます。

[退会済みユーザー]

mistn様

ご回答いただき誠にありがとうございます。
下記、試したコードと、html構造です。
何度も訂正してしまい、申し訳ございません。

何卒宜しくお願い致します。

- 試したコード（発生エラー）

from bs4 import BeautifulSoup
import cssutils, re
import urllib.request

html = urllib.request.urlopen('https://www.xxxxxx.com/').read()
soup = BeautifulSoup(html, "html.parser")

print(re.findall(r'((.*?))', soup.span['style']))

KeyError: 'style'

- html構造

<div class = 'item'>
<span class="image" style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/xxxx.jpg)"></span>

<div class = 'item'>
<span class="image" style="background-image: url(/xxxx/xxxxx/xxx/xxx/img/xxxx/xxx/yyyy.jpg)"></span>

[mistn]

htmlの構造に合わせて soup.span['style'] の部分は変えてください。
html全体の構造が分からないため説明はできません。
「beautifulsoup 要素 取得」などで調べてみてください。

Answer 2

ただの背景画像なのでただurlを抜き取ればいいと思います。

Comments

[退会済みユーザー]

cotema様

imgs = elem.get_attribute('url')
と入力しても、抜き取ることができません。

ご教授いただけるとありがたいです
何卒宜しくお願い致します。