BeautifulSoup4でscriptタグ間を抽出する方法

実現したいこと

Pythonを使ったWEBスクレイピングでつまずきました。
スクレイピング初心者ですので、お手柔らかにご指南頂けますと幸いです。

前提

BeautifulSoup4を使ってWEBスクレイピングをしています。
スクレイピングでつまづいたポイントですが、scriptタグ間の取得です。
属性のないscriptタグは問題なく取得することができました。

しかし、type属性が付いたものをどのように取得するのか、まったくわからない状態ですので
教えていただきたいです。

よろしくお願いいたします。

該当のソースコード

html
1<script type="application/ld+json">
2{"@context":"http://schema.org","@type":"","@id"
3省略
4}
5</script>

otn

2023/04/12 15:20

属性のないscriptタグは問題なく取得できているのであれば、全く同じコードで属性が有ろうが無かろうが取得できますが、一体何に躓いているのでしょうか？

行動規範の内容に同意します

回答1件

ベストアンサー

以下、CSS セレクタを使う場合。
※ select() メソッドを使用していますが、取得対象の script 要素が単一であれば select_one() メソッドでもよいかと思います。

python
1from bs4 import BeautifulSoup
2import re
3
4html = '''
5<script type="application/ld+json">
6{"@context":"http://schema.org","@type":"","@id"
7省略
8}
9</script>
10'''
11
12soup = BeautifulSoup(html, 'html.parser')
13script_data = soup.select('script[type="application/ld+json"]')
14if script_data:
15    js = re.sub(r'({.+})(?=.*</script>)', r'\1', script_data[0].text, flags=re.DOTALL).strip()
16    print(js)
17
18# {"@context":"http://schema.org","@type":"","@id"
19# 省略
20# }