Q&ABeautifulsoupでタグの中身を置換(imgのリンクをローカルにダウンロードしたファイルに置換)した結果を出力しようとしています。
タグの中身は置換できたのですが、それを出力する方法が分からず、困っています。
url="GetしたいURL" html_text = requests.get(url).text soup = BeautifulSoup(html_text, 'html.parser') #img Srcを取得 srcs = [] save_path = './images/' # 画像の拡張子が、.jpg, .png, jpeg いずれの場合も取得 for link in soup.find_all('img'): if link.get('src').endswith('.jpg'): srcs.append(link.get('src')) elif link.get('src').endswith('.png'): srcs.append(link.get('src')) elif link.get('src').endswith('.jpeg'): srcs.append(link.get('src')) # ローカルにファイル保存 for i, image in enumerate(srcs): re = requests.get(image) i += 100 with open(save_path + f'{i}' + "." + image.split('.')[-1], 'wb') as f: f.write(re.content) # ここもスマートなやり方があれば....(なんかPythonっぽくないやり方になってます) i=100 for link in soup.find_all('img'): fn=save_path + f'{i}' + ".jpg" link.attrs['src']=fn i=i+1 # これは出力できる print(soup.prettify) f=open("output.htm","wb") # これが出力できない f.write(soup) # HTMLの情報が抜けてしまい、本文テキストだけになる f.write(soup.text) f.close()
soupオブジェクトそのものをwriteするにはどのように指定すれば良いのでしょうか？
あるいは、他にもっとスマートなやり方があれば教えてください。
回答3件
0
なるほど、これがPythonぽい書き方なんですね。
ありがとうございました。
投稿2022/06/18 07:54
総合スコア10
0
ベストアンサー
以下のように画像リンクループ中にダウンロードとsrc書き換えを同時に行ってもよいかと思います。
また、書き換えた結果の保存は.prettify()したものをそのままテキストモードで書き込みできます。
Python
1from bs4 import BeautifulSoup 2import os 3from urllib.parse import urlparse 4 5s = """ 6<html lang="ja"> 7<head><meta charset="utf-8"><title>テスト</title></head> 8<body> 9<div>テストです</div> 10<img src="https:/localhost/static/test.jpg" alt="jpg画像"> 11<img src="https:/localhost/static/test.png" alt="png画像"> 12</body> 13</html> 14""" 15 16def download_file(src_url, save_file): 17 print(f'{src_url} -> {save_file}') 18 # 画像をダウンロードして保存 19 return True 20 21save_path = './images/' 22soup = BeautifulSoup(s, 'html.parser') 23 24for i, link in enumerate(soup.find_all('img')): 25 src_url = link.get('src') 26 27 # 画像の拡張子ならダウンロード 28 up = urlparse(src_url) 29 ext = os.path.splitext(up.path)[1] 30 if ext.lower() in ['.jpg', '.jpeg', '.png']: 31 save_file = f'{save_path}{i+100}{ext}' 32 if download_file(src_url, save_file): 33 link.attrs['src'] = save_file 34 35with open('ret.html', 'w', encoding='utf-8') as f: 36 f.write(soup.prettify()) 37 38""" 39<html lang="ja"> 40 <head> 41 <meta charset="utf-8"/> 42 <title> 43 テスト 44 </title> 45 </head> 46 <body> 47 <div> 48 テストです 49 </div> 50 <img alt="jpg画像" src="./images/100.jpg"/> 51 <img alt="png画像" src="./images/101.png"/> 52 </body> 53</html> 54"""
投稿2022/06/18 06:04
総合スコア38266
0
一応、以下のやり方で上手く行きました。
(バイナリモードを指定しているのは、文字コードをUTF-8に固定するためです。)
f=open("output.htm","wb") for i in soup.contents: f.write(str(i).encode("UTF-8")) #f.write(soup) f.close()
より良い方法や、一般的にはどういう方法が使われるのかを、教えていただければありがたいです。
よく考えれば、f.write(str(soup))で良かったのか。。。。。
投稿2022/06/18 04:52
編集2022/06/18 05:23総合スコア10
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。