jsonl形式のファイルが読み込めない

Question

filename = "sample.json"
df = pd.read_json(filename,lines=True)

このコードを実行してjsonl形式のファイルを読み込みたいのですがエラーが出てしまいます。
lines=Trueを追加すると解決したケースも見つけたので追加してみたのですが追加しても同じ内容のエラー内容が出力されました。

(env2) E:\facepp-python-demo-master\facepp-python-demo-master\example\detect>python face3.py
Traceback (most recent call last):
  File "face3.py", line 18, in <module>
    df = pd.read_json(filename, lines=True)
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\util\_decorators.py", line 199, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\util\_decorators.py", line 299, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 563, in read_json
    return json_reader.read()
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 692, in read
    obj = self._get_object_parser(self._combine_lines(data_lines))
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 716, in _get_object_parser
    obj = FrameParser(json, **kwargs).parse()
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 831, in parse
    self._parse_no_numpy()
  File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 1079, in _parse_no_numpy
    loads(json, precise_float=self.precise_float), dtype=None
ValueError: Unexpected character found when decoding array value (2)

このプログラムは書き込み用に書いたものです。ここに原因があるかもしれないので念のため載せています

with open('emotion.csv','a') as csv_file:
    writer = csv.writer(csv_file)
    writer.writerows(resp)
    for key, value in resp.items():
        (pd.DataFrame.from_dict(data=resp,orient='index').to_csv('emotion.csv',header=False))
        osp =resp['faces']
                
json_file = open("emotion.json","a")
json.dump(osp,json_file)

これはFace++のAPIで顔表情の推定結果を繰り返し処理し一つのファイルにまとめたものです。
ospの型はリストでした

サイトで調べてみても見つからなかったので質問させていただきました。

python windows10

Comments

[TakaiY]

エラーメッセージは最後の行だけでなく、全て掲載してください。発生箇所の情報などの有用な情報が載っています。

[Kokku]

ご指摘ありがとうございます。追記しました。

[Kokku]

ありがとうございます。僕が載せてあるスクリーンショットにもあるように２行目の二つ目の情報が記載されている箇所がエラーの原因のようです。jsonlとして認識されていないのか、jsonlファイル形式保存時になにか別で指定しなければいけないものがあるのかなど考えれますが、コードなどにおかしな箇所はありますでしょうか。

[bsdfan]

ospがリストなら、作成されるjsonは、[]で囲まれたものになると思うのですが、何かここに書かれた以外の処理を追加でしていますか？

[Kokku]

開くファイルを間違えておりました。追加しました。やはり二つ目のリストでエラーが起こってそうです。

[TakaiY]

？ 読込みたいのは、2つめのキャプチャのデータということですか？
であれば、これはjsonl ではないので、普通に読み込めるのでは？

[Kokku]

同じエラーが出てしまいます。orient='records'をつけるとValueError: Unexpected character found when decoding array value (2)のエラーに変わりました。

[TakaiY]

jsonlでなければ、オプションはいらないと思うのですが、オプション無しだと▽どうなりますか？

[Kokku]

lines=Trueもいらないということでしょうか？

[TakaiY]

jsonlでなくjsonということであればそうです。

[Kokku]

Traceback (most recent call last):
File "face3.py", line 18, in <module>
df = pd.read_json(filename)
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\util\_decorators.py", line 199, in wrapper
return func(*args, **kwargs)
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\util\_decorators.py", line 299, in wrapper
return func(*args, **kwargs)
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 563, in read_json
return json_reader.read()
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 694, in read
obj = self._get_object_parser(self.data)
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 716, in _get_object_parser
obj = FrameParser(json, **kwargs).parse()
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 831, in parse
self._parse_no_numpy()
File "C:\Users\shota\anaconda3\envs\env2\lib\site-packages\pandas\io\json\_json.py", line 1079, in _parse_no_numpy
loads(json, precise_float=self.precise_float), dtype=None
ValueError: Trailing data

という結果が出てきました。

[TakaiY]

そのエラーからすると、そのファイルもjsonlみたいですね。
だとすると、あとは、1行ずつ読んでread_jsonしてみてだめだデータをチェックするくらいしか思いつきませんね。

Answer 1

明確な原因はまだわかりませんがjsonlファイル内にFace++のAPIで感情推定できなかったからのリストがあるからだと思います。しかし質問に載せてある一枚目の画像のファイルには空のリストが入っていなかったです。からのリストを削除してカンマでそれぞれのjson形式辞書型を区切り一つのリストにしたらエラーなく出力されるようになりました。

Answer 2

以下のような例をみつけたのですがorientパラメータを付けてたらどうでしょうか。

pd.read_json(s_jsonl, orient='records', lines=True)

Comments

[Kokku]

エラー内容が間違えておりましたので訂正しました。
orientを指定しても変化はなかったです。

[TakaiY]

エラーの内容をみると、jsonの内容が不正であることが原因のようですね。

目で見てわかるといいのですが、
- 行によって内容が異なっていたりしないか。
- jsonとして不正なデータが含まれていないか
あたりを確認してみてはどうでしょう。

jsonの確認には以下のサイトが使えます。 沢山あるとたいへんですが。
https://jsonlint.com/

[Kokku]

ありがとうございます。僕が載せてあるスクリーンショットにもあるように２行目の二つ目の情報が記載されている箇所がエラーの原因のようです。jsonlとして認識されていないのか、jsonlファイル形式保存時になにか別で指定しなければいけないものがあるのかなど考えれますが、コードなどにおかしな箇所はありますでしょうか。

[TakaiY]

コードとしておかしなところあなさそうです。 2行目ということではなく、どこかのレコードに変なリストが含まれている、もしくは、他の行ではリストなのにそこだけ数値や空白になっているなどしているのではないかと思います。
画像の右にどれくらいデータがあるのかわかりませんが、その中ではないでしょうか。