Python3 スクレイピングでjson部分の括弧が入れ子になっている場合の抽出方法について教えて下さい

Question

こんにちは
WEBページのjson表記部分で、
以下になっている場合の抽出方法が知りたいです。
抽出したい箇所は"line1"の”神奈川県”です。

▮json表記部分（例）▮

<script type="application/ld+json"> { "url": "**********", "title": "***", "description":"***", "Location": { "place": "***", "address": { "type": "***", "line1": "神奈川県", "line2": "横浜市", "line3": "磯子区", "Country": "JP" } } } </script>

▮コードで以下のように抽出しようとしましたが、エラーになりました。
json_2= soup.find("script", {"type": "application/ld+json"})
a=json_2["line1"]

⇒KeyError: 'line1'

どうぞよろしくお願いいたします。

Comments

[meg_]

json表記部分（例）は{}の対応が合わない（ } が足りない）と思いますが記入ミスでしょうか？

[tanatomo]

ご指摘ありがとうございます。
閉じ括弧が一つ足りなかったので修正しました。

[meg_]

他にも「,」が足りない部分があります。適当に修正したもので回答しましたので、実際のデータと違う部分があれば教えてください。

[tanatomo]

ありがとうございます。
「,」不足は、"description":"*"の後の部分ですね。

頂いた回答を元に実行してみたのですが、
今度は、
KeyError：'Location'
となりました。

ちなみに先頭に<script type="application/ld+json">と表記されているのですが、
頂いた回答でいう、aと["Location"]の間に何かを入れる必要はあるのでしょうか。
※そのまま入れてもエラーになりました。

引き続きよろしくお願いいたします。

[tanatomo]

ありがとうございました。

Answer 1

質問者様がsoup.find("script")で取り出しているのはjsonデータではなく
あくまでもjsonが表示される様になっているhtml上のソースであり
それを変数に代入したとしても、jsonデータとしては使用出来ません。
今一度、print(json_2, type(json_2))と、json_2の中身をprintして確認してみると良いでしょう。
otnさんが回答している様に、bs4で取得したタグ要素である事がわかると思います。

print(json_2, type(json_2))

<script type="application/ld+json"> { "url": "******", "title": "*", "description":"*", "Location": { "place": "*", "address": { "type": "*", "line1": "神奈川県", "line2": "横浜市", "line3": "磯子区", "Country": "JP" } } } </script> <class 'bs4.element.Tag'>

その為、それらをjsonデータとして取り扱うには
まずは取り出したjson_2の文字列だけを取得し、辞書型に変換する必要があります。

from bs4 import BeautifulSoup
import json

html = '''<script type="application/ld+json">
{
"url": "******",
"title": "*", "description":"*",
"Location": {
"place": "*", "address": { "type": "*",
"line1": "神奈川県",
"line2": "横浜市",
"line3": "磯子区",
"Country": "JP"
}
}
}
</script>'''

soup = BeautifulSoup(html, 'html.parser')
json_2 = soup.find('script', {'type': 'application/ld+json'})
data = json_2.text	# 文字列を取得

json_dict = json.loads(data)	# 文字列をjsonとして辞書型で読み込む
print(json_dict)

Comments

[otn]

文字列がJSONであり、json.loadsしたものはdict形式ですね。

dictやlistなどをある形式で文字列化した物がJSONです。
（まあ、構造を持ってないデータも対象ですが）

[nto]

私の解説がややおかしかったですね。
修正しておきました。

[otn]

ところで、Python 3.8.6 for Windowsだと、json_2.text が空文字列になるのですが、
ntoさんの実行環境は何でしょうか？

[nto]

python 3.8.1,windows10となります。

[tanatomo]

丁寧に回答頂きありがとうございました。

「あくまでもjsonが表示される様になっているhtml上のソースであり
それを変数に代入したとしても、jsonデータとしては使用出来ません。」
⇒なるほど…理解ができました。

ありがとうございました！

[otn]

あ、Python事態のバージョンというより、bs4のバージョンですね。
beautifulsoup4 4.9.3

[nto]

先程コードを書いた端末に使用されたBeautifulSoupのバージョンは4.8.2となっております。
マイナーバージョンでの仕様の齟齬でしょうか。
その場合.stringで対処可能ですね。

[otn]

そうなんですよ。stringで取れるのにtextで取れない理由が分からないため、コードが書けなかったのです。
4.8では取れるということで、変更情報を見るてみると、4.9で変わったみたいです。
* Embedded CSS and Javascript is now stored in distinct Stylesheet and Script tags, which are ignored by methods like get_text().

[nto]

確認した所、4.9.0のリリース時に「Embedded CSS and Javascript is now stored in distinct Stylesheet and
Script tags, which are ignored by methods like get_text() since most
people don't consider this sort of content to be 'text'. This
feature is not supported by the html5lib treebuilder.」と声明があり、要するにはインラインでのcssとjsなどの中身はテキストとして考えずget_text()や.textでの取得は出来ない様に仕様が変更されたとの事でした。

[nto]

あ、同時のコメントになってしまい失礼しました。
頭に入れとかなきゃな情報でした。
ご指摘ありがとうございました。

Answer 2

KeyError：'Location'

json_2は、bs4のノードなので、テキストを取り出して、JSONとしてパースしないといけないのでは？

あと、他の方のコメントにもありますが、実物をコピペしないと話が始まりません。

Comments

[tanatomo]

テキストを取り出して、JSONとしてパースしないといけないのでは？

→なるほど！
自分があまりわかっていないようなので質問したいのですが、それはつまり"line1"を探して、 "神奈川県"を抽出するようなコードは、この場合難しいことを指していますか？

一度テキスト形式に直すことも試してしてみたのですが、その場合『○文字目〜▲文字』のような検索しかできなかった（繰り返し処理では、その時々で得られる箇所がズレる？）ため、キーワードで探す方法がないか聞きたくて投稿しました。

よろしければ教えてください。
よろしくお願いします。

※そのまま載せるのは難しい事情があり、一方でどこまで加工して良いかがわからない状態でした。そのため質問が分かりにくくご迷惑をおかけしました。申し訳ありません。

[otn]

> そのまま載せるのは難しい事情があり、一方でどこまで加工して良いかがわからない状態でした。
乗せても良い加工したデータを使ったテスト環境を作り、そのテスト環境で同じ現象が発生することを確認した上で、テスト環境のデータをコピペします。実行もしていないコードを載せてはいけません。

> この場合難しいことを指していますか？

難しくは無いと思いますけど。

> その場合『○文字目〜▲文字』のような検索しかできなかった（繰り返し処理では、その時々で得られる箇所がズレる？

JSONとしてパースしてdict型に直せば良いです。

[tanatomo]

回答ありがとうございました！

Answer 3

a=json_2["line1"]でKeyError: 'line1'が発生するのであれば下記でどうでしょうか？

質問のjsonではエラーが出るので下記とします。

{
"url": "******",
"title": "*",
"description":"*",
"Location": {
"place": "*", 
"address": { "type": "*",
            "line1": "神奈川県",
            "line2": "横浜市",
            "line3": "磯子区",
            "Country": "JP"
            }
        }
}

print(a["Location"]["address"]["line1"])
# '神奈川県'

Comments

[tanatomo]

ありがとうございます。
「,」不足は、"description":"*"の後の部分ですね。

頂いた回答を元に実行してみたのですが、
今度は、
KeyError：'Location'
となりました。

[meg_]

ということは、
> WEBページのjson表記部分
と、質問に記載されているjson文字列が異なっているのでしょう。よく確認してみてください。
こちらでは実際のデータが分からないため、エラーの真因は判りません。

[tanatomo]

かしこまりました。
ありがとうございます。
お手数をおかけしました。