[Python3.x]BeautifulSoup4で属性の値を変更したい

Question

単純にprettify()でもって文字列に変換した後、re.sub()やreplace()ですれば良いと思ったのですが、prettify()してしまうと中身が変わってしまうようで、ちょっと困ったことになりました。

とあるサイトから1ページのコンテンツ部分をまるごと取ってきて、その中のimgタグのsrc属性の値を取得し、urlretrieve()にて、画像をファイル名で保存します。（パスとファイル名を切り分けます。）

その後、取得したコンテンツの中から、先程使ったsrc属性の値（URL）に一致するものを探し、保存したときのファイル名を使ってsrc="./image.png"のように書き換えたいのですが、ここで困ったことになりました。

prettify()した文字列型のhtml文章にre.sub()を使用して置換しようとしたのですが、何故かre.search()等でurlを検索してもNoneが返るものが出てきてしまいます。

画像取得するときはURL見つかるのに（BeautifulSoupのメソッド使用）、html上でURLが見つからない(Pythonのre使用)とは一体・・・
prettify()したせい・・・ですか？

いろいろ省略してますが、以下の様なことがしたいです。

html = urlopen("URL")
soup = BeautifulSoup(html, 'lxml')
imgs = soup.find_all('img')
str_html = soup.prettify()

for img in imgs:
    file_name = # 画像を取得してファイル名をfile_nameに入れる
    str_html = re.sub(img['src'], './' + file_name, str_html)

上記コードだと幾つかのurlが見つからないために置換されません。

見つからないのはprettify()したせいだとすると、prettify()する前のBeautifulSoup型？のままで置換をするしか無いですか？

そうだとしたら、属性の値を書き換えるメソッドなどはあるんでしょうか。

調べてみても、テキスト部分の書き換えしか出てきませんでした。

よろしくお願いします。

Answer 1

re.subの第一引数は正規表現として扱われるので?等が変な意味を持ってしまっているのだと思います。素直にstr.replaceを使用するのはいかがでしょうか。

import os
from urllib.request import urlopen
from urllib.parse import urlparse

from bs4 import BeautifulSoup

soup = BeautifulSoup(urlopen("https://teratail.com/questions/77421"), "lxml")
str_html = soup.prettify()

for src in (img["src"] for img in soup.find_all("img")):
    file_name = os.path.basename(urlparse(src).path)
    str_html = str_html.replace(src, "./" + file_name)

print(str_html)

Comments

[kurosuke___]

タグの中身を直接書き換えることで対応しました。回答ありがとうございました。