Pythonでnp.nanを含むデータをjsonにうまくエンコードできない

Question

実現したいこと

DataFrameで保有しているデータをjsonにencodeしたいと考えています。
ただし、実際には少し複雑なデータ構造になるため、pandasのto_jsonは使わないという前提になります。

発生している問題・分からないこと

test用のデータとして次を用意します。

・データ

df=pd.DataFrame({'a':[0,1,2,3,4],'b':[None,6,7,8,np.nan],
                            'c':[10,11,np.nan,np.nan,None],'d':[15,16,17,None,19],
                            'e':[np.nan,np.nan,np.nan,np.nan,np.nan]})

これを次のfor文で回しながらdictにして、最後にjson.dumpsでencodeするというプロセスです。ただし、このやり方だとnp.nanやほかのnp.int64などのデータ型もencodeのじゃまになるというところまではわかったので、エンコーダを用意することにしました。なお、pythonのバージョンは3.11.4です。

これのテスト用コードがこちらです。

class NumpyEncoder(json.JSONEncoder):
    def default(self, obj):
        
        if isinstance(obj, np.int64):
                return int(obj)
        elif isinstance(obj, np.float64):
            if np.isnan(obj):
                return None
            else:
                return float(obj)
        elif isinstance(obj, np.ndarray):
            return obj.tolist()

        return super().default(obj)

dic=dict()
for i,row in enumerate(df.index):
    for j,col in enumerate(df.columns):
        dic[f'{col}-{row}']=df.iloc[i,j]
print(json.dumps(dic,indent=4,cls=NumpyEncoder))

printされて出てきたものが下です。

{
    "a-0": 0,
    "b-0": NaN,
    "c-0": 10.0,
    "d-0": 15.0,
    "e-0": NaN,
    "a-1": 1,
    "b-1": 6.0,
    "c-1": 11.0,
    "d-1": 16.0,
    "e-1": NaN,
    "a-2": 2,
    "b-2": 7.0,
    "c-2": NaN,
    "d-2": 17.0,
    "e-2": NaN,
    "a-3": 3,
    "b-3": 8.0,
    "c-3": NaN,
    "d-3": NaN,
    "e-3": NaN,
    "a-4": 4,
    "b-4": NaN,
    "c-4": NaN,
    "d-4": 19.0,
    "e-4": NaN
}

一応、プログラムは回るのですが、本来nullであるべきところがNaNのままになっており、試しにこれと同じ方法で出力したファイルをjupyter labで開こうとするとこれが原因で開けません。エラーメッセージは、

Unexpected token 'N', ..."文字列": NaN, "... is not valid JSON

（なお、これは上記のテストコードで出力したファイルではなく本番用のコードなのでキーが少し異なります。）

色々変えながらNaNをnullにして出力しようとしていますがうまくいきません。

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

色々調べて作成したコードなのですが、うまく行きません。jsonのencodeは正直慣れていないので初歩的なミスがある可能性が高いと思うのですが、ご助言いただけるとありがたいです。

以下のページを特に参考にしました。
カスタムオブジェクトの JSON エンコード/デコード
numpyをjson.dumpするときに気をつけたいこと

追記

最初にご回答いただいた方にも返答で書かせていただきましたが、今回はせっかくなので勉強のためエンコーダを利用する方法でやりたいと考えております。どうしても方法が見つからなさそうであれば、dict作成の段階でのデータの型変換をやりたいと思います。

Answer 1

辞書を作成する段階で型変換を行ってみてはどうでしょうか。(この場合はエンコーダは不要になります)

for i,row in enumerate(df.index):
    for j,col in enumerate(df.columns):
        v = df.iloc[i,j]
        if isinstance(v , np.int64):
            v = int(v)
        elif np.isnan(v):
            v = None
        dic[f'{col}-{row}'] = v

print(json.dumps(dic,indent=4))

# {
#     "a-0": 0,
#     "b-0": null,
#     "c-0": 10.0,
#     "d-0": 15.0,
#     "e-0": null,
#     "a-1": 1,
#     "b-1": 6.0,
#     "c-1": 11.0,
#     "d-1": 16.0,
#     "e-1": null,
#     "a-2": 2,
#     "b-2": 7.0,
#     "c-2": null,
#     "d-2": 17.0,
#     "e-2": null,
#     "a-3": 3,
#     "b-3": 8.0,
#     "c-3": null,
#     "d-3": null,
#     "e-3": null,
#     "a-4": 4,
#     "b-4": null,
#     "c-4": null,
#     "d-4": 19.0,
#     "e-4": null
# }

追記

pandas.DataFrame.to_dict() と辞書内包表記(dictionary comprehension) を使用して以下の様にも書くことができます。

import pandas as pd
import numpy as np
import json

df=pd.DataFrame({'a':[0,1,2,3,4],'b':[None,6,7,8,np.nan],
                 'c':[10,11,np.nan,np.nan,None],'d':[15,16,17,None,19],
                 'e':[np.nan,np.nan,np.nan,np.nan,np.nan]})

dic = {f'{k}-{i}': v
       for i, d in enumerate(df.replace({np.nan: None}).to_dict(orient='records'))
       for k, v in d.items()}
print(json.dumps(dic,indent=4))

Comments

[ttuucch]

ありがとうございます！
その方法も頭にはありつつ、私のエンコーダへの理解が足りてないなら、勉強になるので指摘がもらえるといいかなと思っております。
エンコーダを使用する方法がどうにもならなければ仰るとおり辞書に入れるところでデータ型を変換しようと思います。

[melian]

NumpyEncoder で NaN が変換されないのは、np.float64型がfloat型の継承型であるためです。一方、np.int64型はint型の継承型ではありません。そのため、NumpyEncoder による変換が行われるのはnp.int64型のインスタンスのみになります。

>>> isinstance(np.float64(1.0), float)
True
>>> isinstance(np.int64(1), int)
False

[ttuucch]

仕組みを教えていただきありがとうございます。確かに色々np.nanのデータ型を見ていると複雑だなあと思っていました。Encoderでの解決は、できない、ということになるのでしょうか？

[melian]

Encoder はシリアライズできないオブジェクトにのみ作用します。具体的には、以下のページの表(「デフォルトでは以下のオブジェクトと型をサポートします」)に記載のない型だけが、NumpyEncoder.default() メソッドによる変換の対象になります。

class json.JSONEncoder
https://docs.python.org/ja/3/library/json.html#json.JSONEncoder

int型の派生ではない np.int64型はどれにも当てはまりませんので NumpyEncoder.default() で変換されますが、np.float64型(NaNを含む)は「int、float と int や float の派生列挙型」に当てはまりますので、NumpyEncoder.default() は呼び出されず、デフォルトの JSON エンコーダによる変換が行われることになります。

[ttuucch]

なるほど、ありがとうございます。理解しました。では、やっぱり辞書にいれる段階での型変換になるのですね。丁寧にご解説ありがとうございました。