Python 3でスクレイピングするデータを辞書型に変換したい

Question

前提・実現したいこと

Python 3でスクレイピングしたいです。
対象のWebサイトはJSON形式で表示されます。
スクレイピングするデータを辞書型で変数に保存したいです。

発生している問題・エラーメッセージ

スクレイピングにはBeautifulSoupを使っています。
取得するデータの型がBeautifulSoupであるため、型を辞書型に変換したいのですが
やり方が分かりません。

json.dumps関数で変換しようとすると下記のエラーとなります。

TypeError: Object of type 'BeautifulSoup' is not JSON serializable

該当のソースコード

Python 3で実施しています。


import json
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "http://test.json"
s = requests.Session()
r = s.get(url)
soup = BeautifulSoup(r.text, "lxml")
json_data = json.dumps(soup)

試したこと

dict関数で辞書型に変更しようとすると下記のエラーとなります。

json_data = dict(soup)

TypeError: attribute of type 'NoneType' is not callable

Comments

[mather]

「対象のWebサイトはJSON形式で表示されます。」とありますが、そもそもHTMLではなくJSONデータがレスポンスで返ってきているという認識で合っていますか？

[khaii21]

はい。レスポンスはJSON形式となります。こちらを辞書型で変数に保存してキーバリューで操作したいと考えています。

Answer 1

BeautifulSoupはHTMLを解釈するものですのでJSONの場合は不要です。
このサイトがJSON形式を戻しているのであればBeautifulSoupは使用せずに以下で動きませんか？

import json
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "http://test.json"
s = requests.Session()
r = s.get(url)
json_data = json.loads(r.text)

Comments

[khaii21]

ご回答ありがとうございます。
手探りの状態でPythonの勉強を始めたのですが行き詰まっていました。
大変助かりました。
ありがとうございます。