Pythonでスクレイピングする際に。。。【正規表現】

Question

BeautifulSoupでスクレイピングをしているのですが、

<img src="https://lpt.c.yimg.jp/im_siggAaf5osc..E4Z0KH1Aw3lUg---x80-y80-n0-pril-exp3h-bd1-bdx80-bdy80-bdcefefef/q/amd/20180303-00162042-diamond-000-view.jpg" alt="愛犬を「人質」に離婚応じぬ妻、夫婦の確執に巻き込まれるペットの悲哀（上）">

このなかからURLだけを抽出する正規表現を書くにはどうしたらよいでしょうか

Answer 1

せっかくBeautifulSoupを使っているのですから、正規表現ではなく.get()メソッドなどを利用しましょう。
参考：PythonとBeautiful Soupでスクレイピング

#coding:utf-8
import requests
from bs4 import BeautifulSoup

r = requests.get('https://www.python.org/')
soup = BeautifulSoup(r.content, 'html.parser')
print( soup.img.get('src')) # (最初の)img要素のsrc属性値を取得
# /static/img/python-logo.png

Answer 2

can110さん曰く

せっかくBeautifulSoupを使っているのですから

自分も「BeautifulSoupでDOMの構造を走査できたと思うのだけどなぜ正規表現が出てくるのだろう？」が第一印象でした。

よくわかってないのでBeautifulSoupの使用例を覗いてみるとfind_allの引数に正規表現を渡せたりすることがわかりました。ひょっとすると「URLを含むようなエレメントを列挙するにはどんな正規表現をfind_allに書けばよいか？」といった意図だったのでしょうか？
つまり以下のような。

from bs4 import BeautifulSoup
import re

...
soup = BeautifulSoup(...)

elem_patterns = [
  [ 'href', '^(a|link|...その他もろもろ)$' ],
  [ 'src',  '^(img|iframe|...その他もろもろ)$' ],
  ... そのほかもろもろ?
]
urls = []
for ep in elem_patterns:
    for elem in soup.find_all(re.compile(ep[1], flags=re.IGNORECASE)):
        url = elem.get(ep[0])
        if url and url.startswith('http'):
            urls.append(url)
...

より精密に書くにはHTMLの構造＝＝DOMの仕様の把握が必要と思います。上の例ではごく大雑把にしか書いてません。

• Anchorの属性はhrefで、Imageの属性はsrcのようにurlを保持している属性が要素の種類によって異なる
• 要素名は大文字小文字を区別しないのがHTMLの仕様だったような・・・
• urlといっても色々な表現が有り得るがhttp or https で始まるものを集めてみた

本来はhttp:, https:とコロンのところまでプロトコルをかっちり指定すべきと思いますがサボりました。