【Python】jsonデータの取得時Keyerrorとなる

Question

失礼いたします。
早速ですが、掲題についてご相談させください。

{
     "data" [
            {
              "user": "tanaka",
              "Question1": "hogehoge",
              "Question3": "hogehoge",
            },
            {
              "Question3": "hogehoge",
              "Question4": "hogehoge",
            },
            {
              "user": "sato",
              "Question2": "hogehoge",
              "Question4": "hogehoge",
            },
            {

(以下userやQuestion1、Question2、Question3がランダムに格納)

import requests

url = "APIのURL"
data = requests.get(url).json()

WebAPIを用いて、変数dataに上記の様なjsonデータを取得しております。
行いたいこととしまして、jsonのデータから"user": "name"、"Question1": "hogehoge"のデータを取り出し、以下のように表示させたいと考えております。

user    Question1

tanaka  hogehoge
sato    hogehoge
name    hogehoge
・・・

まずはuserを取得しようと以下を実行しました。
しかしuserをKeyとしてForで取得しようとすると、Keyerrorとして表示されるようです。

for key in data['data']:
  print(key['user'])

回避方法など調べましたが勉強を初めてまだ数週間のためわからず。。
もしよければ解決策をお伺いできましたら幸いです。またforだけにこだわらず、解決策があれば同じくお伺いしたいです。
(今後はuser内に特定の文字列があれば除外する、といったことも考えております。)

Answer 1

まず、「JSONデータ」として提示されている内容がJSON形式ではありません。

• "data"の直後に:が付いていない。
• {}の内容の末尾にカンマが付いている。

末尾のカンマ - JavaScript | MDN

オブジェクトリテラルの末尾のカンマは、ECMAScript 5 から導入されました。JSON は ES5 以前の JavaScript 構文に基づいているため、末尾のカンマを使用できません。

これらを修正した状態のJSONデータから、forで配列の要素をひとつずつ取得するわけですが、(2番目の要素のように)キー"user"が存在しない要素や、同様にキー"Question1"が存在しない要素があるため、inを使ってキーの存在をチェックしてからそれぞれの値を取得してください。

以下のコードでは、(動作チェックを容易にするために)JSONデータを文字列として与えて、json.loadsでパースしています。また、提示されたJSONデータには"Question1"が1個しか存在しなかったため、他の要素にも"Question1"を追加しています。さらに、それぞれの"Question1"の値も区別が付くように変更しています。

import json

text = """
{
    "data": [
        {
            "user": "tanaka",
            "Question1": "hogehoge",
            "Question3": "hogehoge"
        },
        {
            "Question3": "hogehoge",
            "Question4": "hogehoge"
        },
        {
            "user": "sato",
            "Question1": "fugafuga",
            "Question4": "hogehoge"
        },
        {
            "user": "suzuki",
            "Question1": "bokeboke",
            "Question3": "hogehoge"
        }
    ]
}
"""

json_data = json.loads(text)
# print(json_dic)

user_key = "user"
question_key = "Question1"

print(f"{user_key:10} {question_key}", end="\n\n")

for item in json_data["data"]:
    if user_key in item and question_key in item:
        print(f"{item[user_key]:10} {item[question_key]}")

user       Question1

tanaka     hogehoge
sato       fugafuga
suzuki     bokeboke

Comments

[taro123456u]

Daregada様

ご回答をいただきありがとうございます…！
掲示したJSONデータに誤りがあったこと、大変失礼いたしました。

ご教示くださった方法の変数：textで指定したjsonはうまく取得できました！ありがとうございます。
しかしWebAPIから取得するjsonの場合userが取得できず…。(全てただのuserで実行結果が表示されてしまう)

変数data内にあるjsonの形式が悪い(typeはdict)と思い、以下記述をいたしました。
jsondata = json.loads(data)

しかし、変数jsondataにてエラーが表示されました。
TypeError: the JSON object must be str, bytes or bytearray, not dict

strに変更が必要かと思いdumpsを使用したところ、for item in の箇所で以下エラーが表示されました。
TypeError: string indices must be integers

検索したのですが理解ができず。。
うまくご説明できていない箇所があればご指摘くださいませ。

[Daregada]

json.loadsで取得できるのは「文字列として書かれたJSONデータからパースした辞書」なので、すでに辞書形式になっているデータをjson.loadsに指定してはいけません。辞書形式ということは、すでにパースは終了しているということでは?

その「WebAPIから取得した」JSONデータそのものを、正確に質問内容に提示してください(質問文は編集可能です)。

[taro123456u]

早急なご返信誠にありがとうございます…！
すみません、私の勘違いで再度実行したところ結果が表示されました。
ご面倒をおかけし申し訳ございません。

また丁寧にご対応いただき本当に助かりました。
プログラミング初心者で、プロの方からみられると少ない記述かと思うのですが、とても楽しく学ばさせていただきました。(実行結果が出力されたとき感動しました！)

お時間をいただきありがとうございました。

Answer 2

Keyerrorになる原因やけど、質問にあるJSONのサンプルだとdataの要素の2個目、こない

    {
       "Question3": "hogehoge",
       "Question4": "hogehoge",
    },

になっとって"user"無いやん。そやから for key in data['data']: のループで２個目を取りだしたときに、key['user']んとこで、Keyerrorになってるんちゃうか？

Comments

[taro123456u]

suwmn50799様

ご回答ありがとうございます！
ご説明が不足しており失礼しました。おっしゃる通り該当のWebAPIを叩くと欠損している場合があり、そこでKeyerrorになってしまうようです…。
その点をスキップし取得したいと考えていたのですがわからずでした。

お手数をおかけしました。

[退会済みユーザー]

かまへんで。よくあるこっちゃ。
ひとつお節介しとくと、JSONの文字列を他の人に見せるためにコピペする前に、これ

https://jsonformatter.curiousconcept.com/

にコピペして[Process]ボタンクリックすると、JSONの文法チェックしてくれるんで便利やで。

[taro123456u]

なるほど！勉強になりましたmm