Python 3でスクレイピングするデータを辞書型に変換したい

Question

前提・実現したいこと

Python 3でスクレイピングしたいです。
対象のWebサイトはJSON形式で表示されます。
スクレイピングするデータを辞書型で変数に保存したいです。

発生している問題・エラーメッセージ

スクレイピングにはBeautifulSoupを使っています。
取得するデータの型がBeautifulSoupであるため、型を辞書型に変換したいのですが
やり方が分かりません。

json.dumps関数で変換しようとすると下記のエラーとなります。

TypeError: Object of type 'BeautifulSoup' is not JSON serializable

該当のソースコード

Python 3で実施しています。


import json
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "http://test.json"
s = requests.Session()
r = s.get(url)
soup = BeautifulSoup(r.text, "lxml")
json_data = json.dumps(soup)

試したこと

dict関数で辞書型に変更しようとすると下記のエラーとなります。

json_data = dict(soup)

TypeError: attribute of type 'NoneType' is not callable

Comments

[mather]

「対象のWebサイトはJSON形式で表示されます。」とありますが、そもそもHTMLではなくJSONデータがレスポンスで返ってきているという認識で合っていますか？

[khaii21]

はい。レスポンスはJSON形式となります。こちらを辞書型で変数に保存してキーバリューで操作したいと考えています。