前提・実現したいこと
Python 3でスクレイピングしたいです。
対象のWebサイトはJSON形式で表示されます。
スクレイピングするデータを辞書型で変数に保存したいです。
発生している問題・エラーメッセージ
スクレイピングにはBeautifulSoupを使っています。 取得するデータの型がBeautifulSoupであるため、型を辞書型に変換したいのですが やり方が分かりません。 json.dumps関数で変換しようとすると下記のエラーとなります。 TypeError: Object of type 'BeautifulSoup' is not JSON serializable
該当のソースコード
Python 3で実施しています。 import json import requests from bs4 import BeautifulSoup from urllib.parse import urljoin url = "http://test.json" s = requests.Session() r = s.get(url) soup = BeautifulSoup(r.text, "lxml") json_data = json.dumps(soup)
試したこと
dict関数で辞書型に変更しようとすると下記のエラーとなります。
json_data = dict(soup)
TypeError: attribute of type 'NoneType' is not callable
回答1件