jsonファイルをDataFrame型で出力できない

Question

Personly Insights
で取得したjsonファイルを、DataFrame型で出力しようとしたところエラーが出ます。

import pandas as pd
import json
from pandas import Series, DataFrame, read_csv, read_json

Big5=open('Big5.json')
df=pd.read_json(Big5)

と入力したところ、

のようにエラーメッセージが出ました。
(JupyterLab上でエラ〜メッセージをコピーしようとしたのですが、なぜかcopy cellsとしか選択肢が出ずに、コピーできなかったため、画像ファイルで提示しました。ご面倒おかけします。)

おそらく列数がデータによって違うのが原因ということはわかりました。

pandasの説明

を見ているのですが、どうすれば読み込めるのかわからないです。

お知恵を拝借願えますでしょうか。

ファイルの置き場所は、Big5 と打ち込むと、

<_io.TextIOWrapper name='Big5.json' mode='r' encoding='UTF-8'>

と出ることから、間違いないと思います。

Comments

[NCC1701]

DataFrameのカラムとインデックスにJSONファイルは対応してますか？
例えばデータにリスト形式が含まれているとか。json={"children":["Ann","Bob","Carol"]}みたいなデータだと、"Ann","Bob","Carol"がどのカラム（インデックス）に対応しているのかわからずエラーになります。

[masaking]

見る限り、変数名と実際の変数は、1対1で対応しています。

参考までに、データの最初と最後数十行を添付します。

{
"word_count": 22924,
"processed_language": "ja",
"personality": [
{
"trait_id": "big5_openness",
"name": "知的好奇心",
"category": "personality",
"percentile": 0.8479480994964365,
"significant": true,
"children": [
{
"trait_id": "facet_adventurousness",
"name": "大胆性",
"category": "personality",
"percentile": 0.7360829044915548,
"significant": true
},
{
"trait_id": "facet_artistic_interests",
"name": "芸術的関心度",
"category": "personality",
"percentile": 0.4201330922838075,
"significant": true
},
{
"trait_id": "facet_emotionality",
"name": "情動性",
"category": "personality",
"percentile": 0.11549813941234521,
"significant": true
},

中略

{
"consumption_preference_id": "consumption_preferences_books_financial_investing",
"name": "投資関連書籍を読む傾向があります",
"score": 1
},
{
"consumption_preference_id": "consumption_preferences_books_autobiographies",
"name": "自伝や伝記を読む傾向があります",
"score": 0
}
]
},
{
"consumption_preference_category_id": "consumption_preferences_volunteering",
"name": "ボランティア精神",
"consumption_preferences": [
{
"consumption_preference_id": "consumption_preferences_volunteer",
"name": "社会貢献のためにボランティア活動をする傾向があります",
"score": 0
}
]
}
],
"warnings": []
}

最初と最後でデータの形式？が変わっているので、それが原因なのかと、構成が変わっている部分を消して試してみたりもしましたがダメでした。

[NCC1701]

"personality"キーの値が配列[]になっていて、さらにその中には"children"キーの値が配列になっていますね。つまりデータ構造が3次元以上になってしまっています。DataFrameは2次元のいわゆるテーブル型なので変換できずエラーになるのです。
DataFrameへ変換する前に、Big5を1キーの値が1カラムに対応するように処理をしなければなりません。しかも自力で。（もしかしたら探せばライブラリ・モジュールがあるかもしれません）
最初の例だとjson={"children":["Ann","Bob","Carol"]}をjson2={"children1":"Ann","children2":"Bob","children3":"Carol"}のように構造をテーブル型にするイメージです。
変換後の最終的なdfがどのようなカラム名とインデックス名でのテーブルになるのかのイメージに合わせてjsonを変形してみてください

[masaking]

お返事ありがとうございます。
あれから勉強して、多少は何が原因なのか分かるようになりました。
jsonファイルに対して、
df = json_normalize(data=Big5data, record_path='personality')
することで、personalityキーの入れ子を解除することはできたのですが、同じようにchidrenを解除しようとするとエラーが出ます。

TypeError: string indices must be integers

と出るのですが、stringに変えた覚えはないし、何をintegerにすれば良いのかよくわかりません。
あともう一歩なので、お知恵を拝借できないでしょうか。
なお、jsonファイルについては、personalityの部分以外は、変形というか、カットしています。

[NCC1701]

`TypeError: string indices must be integers`
エラーの内容が変化したので、別立てにして改めて質問し直した方が良いです。