PythonにてJSONをキー名直接指定のドット指定で扱いたい

Question

お世話になっております。
Python 3.7のJSON処理について質問させてください。

前提・実現したいこと

JSONの各要素をドット指定で扱いたい。
ただし、「インスタンス名.変数名.キー名」ではなく「インスタンス名.キー名」としたい。

要件1. インスタンス名.キー名で値の読み出しが可能
要件2. インスタンス名.キー名で値の書き込み (更新) が可能
要件3. シリアライズ (JSON形式テキストへのエクスポート) が可能
要件4. デシリアライズ (JSON形式テキストからのインポート) が可能

試したこと 1

上記要件を満たすclass TestDataを作成し、テスト実施。

# TestData.py
import json

class TestData():
    
    parms = {
        "parm1": "aaaaa",
        "parm2": 12345,
        "parm3": {
            "parm3_1": "bbb",
            "parm3_2": "cdefg"
        }
    }
    def __getattr__(self, attr):
        try:
            return self.parms[attr]
        except KeyError:
            raise AttributeError(r"'TestData' object has no attribute '%s'" % attr)

    def dumps(self):
        return json.dumps(self.parms)

    def loads(self, json_str):
        self.parms = json.loads(json_str)
        return

# Main.py
import TestData

test_data1 = TestData.TestData()

# 要件1
print(test_data1.parm2)

# 要件3
bkup = test_data1.dumps()
print(bkup)

# 要件2
test_data1.parm2 = 67890
print(test_data1.parm2)

# 要件4
test_data1.loads(bkup)
print(test_data1.parm2)

実行結果 1

要件1, 2, 3は満たしたが、要件4を満たさなかった。

12345
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
67890
67890

要件4を満たすなら、4行目の表示は"12345"になるものと考える。

試したこと 2

切り分けのためMain.pyの"# 要件4"部分を変更した。

import TestData

test_data1 = TestData.TestData()

# 要件1
print(test_data1.parm2)

# 要件3
bkup = test_data1.dumps()
print(bkup)

# 要件2
test_data1.parm2 = 67890
print(test_data1.parm2)

# 要件4
test_data1.loads(bkup)
# 直下の1行を追加
print(test_data1.dumps())
print(test_data1.parm2)

実行結果 2

全体のdumpに含まれる"parm2"と個別アクセスの"parm2"が異なる結果となった。

12345
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
67890
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
67890

質問事項

質問1. 「実行結果 2」にて、dumpと個別アクセスで各々"parm2"が異なる値を示した理由は何でしょうか。
質問2. 冒頭の4要件を満たすようなサンプルコードをご教示いただけますでしょうか。

Answer 1

質問２だけ。

# coding: utf-8

import sys, json

SOURCE = '''{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}'''

def func():
	class TestData:
		def __init__(self, d):
			self._keys = d.keys()
			for k, v in d.items():
				setattr(self, k, v)
		def to_dict(self):
			return dict([(k, getattr(self, k)) for k in self._keys])
	def object_hook(obj):
		return TestData(obj)
	def default(obj):
		if isinstance(obj, TestData):
			return obj.to_dict()
		return obj

	test_data1 = json.loads(SOURCE, object_hook=object_hook)
	print(test_data1.parm2)
	bkup = json.dumps(test_data1, default=default)
	print(bkup)
	test_data1.parm2 = 67890
	print(test_data1.parm2)
	test_data1 = json.loads(bkup, object_hook=object_hook)
	print(test_data1.parm2)

if __name__ == '__main__':
	func()

結果。

12345
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
67890
12345

とりあえず適当に作りました。

• Python標準ライブラリ - json - JSONエンコーダおよびデコーダ

リファレンスマニュアルにエンコーダ・デコーダの説明が書かれていますが、ワケがわからなければ以下のコマンドでjsonモジュールのソースコードのパスを調べて中身を見た方が早いと思います。

python3 -c 'import json; print(json.__file__)'

Comments

[dt9672]

インスタンスを都度生成して同じ変数に上書きしていく動作でしょうか。
ご提示いただいたコードはおそらく理解できたと思いますが、(元々の自分の意図が) あまりメリットが無い書き方とわかりました。
ありがとうございました。

Answer 2

質問1

質問1. 「実行結果 2」にて、dumpと個別アクセスで各々"parm2"が異なる値を示した理由は何でしょうか。

初回のみクラスインスタンスのプロパティのキー "param2" の値にアクセスしており、
それ以外はすべて dict に追加されたインスタンスプロパティにアクセスしているためです

実験

import json

class TestData():

    parms = {
        "parm1": "aaaaa",
        "parm2": 12345,
        "parm3": {
            "parm3_1": "bbb",
            "parm3_2": "cdefg"
        }
    }
    def __getattr__(self, attr):
        print("__getattr__ is Accessed!")
        print(attr)
        print(self.parms)
        try:
            return self.parms[attr]
        except KeyError:
            raise AttributeError(r"'TestData' object has no attribute '%s'" % attr)

    def dumps(self):
        return json.dumps(self.parms)

    def loads(self, json_str):
        self.parms = json.loads(json_str)
        return


test_data1 = TestData()

# 要件1
print(test_data1.parm2)
print("__dict__ = " + str(test_data1.__dict__))
# 要件3
bkup = test_data1.dumps()
print(bkup)
print("__dict__ = " + str(test_data1.__dict__))

# 要件2
test_data1.parm2 = 67890
print(test_data1.parm2)
print("__dict__ = " + str(test_data1.__dict__))

# 要件4
test_data1.loads(bkup)
print("__dict__ = " + str(test_data1.__dict__))
# 直下の1行を追加
print(test_data1.dumps())
print("__dict__ = " + str(test_data1.__dict__))
print(test_data1.parm2)
print("__dict__ = " + str(test_data1.__dict__))
# 追加の動作確認
test_data1.loads("{}")
print("__dict__ = " + str(test_data1.__dict__))
print(test_data1.dumps())
print("__dict__ = " + str(test_data1.__dict__))

実行結果:

$ python test.py
__getattr__ is Accessed!
parm2
{'parm1': 'aaaaa', 'parm2': 12345, 'parm3': {'parm3_1': 'bbb', 'parm3_2': 'cdefg'}}
12345
__dict__ = {}
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
__dict__ = {}
67890
__dict__ = {'parm2': 67890}
__dict__ = {'parm2': 67890, 'parms': {'parm1': 'aaaaa', 'parm2': 12345, 'parm3': {'parm3_1': 'bbb', 'parm3_2': 'cdefg'}}}
{"parm1": "aaaaa", "parm2": 12345, "parm3": {"parm3_1": "bbb", "parm3_2": "cdefg"}}
__dict__ = {'parm2': 67890, 'parms': {'parm1': 'aaaaa', 'parm2': 12345, 'parm3': {'parm3_1': 'bbb', 'parm3_2': 'cdefg'}}}
67890
__dict__ = {'parm2': 67890, 'parms': {'parm1': 'aaaaa', 'parm2': 12345, 'parm3': {'parm3_1': 'bbb', 'parm3_2': 'cdefg'}}}
__dict__ = {'parm2': 67890, 'parms': {}}
{}
__dict__ = {'parm2': 67890, 'parms': {}}

解説

class TestData():
    parms = {
        "parm1": "aaaaa",
        "parm2": 12345,
        "parm3": {
            "parm3_1": "bbb",
            "parm3_2": "cdefg"
        }
    }

この定義はインスタンスのプロパティではなく
クラスインスタンスのプロパティとなります

self.parms この表現はインスタンスの __dict__ に parms が存在しない場合
クラスインスタンスのプロパティにフォールバックするように動作するようです

test_data1.parm2 = 67890

上記の行が実行されると __dict__ にプロパティが登録され、
以降はそちらを参照されるようになります

それは、__getattr__ が、
プロパティが見つからないときのみアクセスされるメソッドであるためです

参考: object.getattr(self, name) | 3. データモデル — Python 3.8.5 ドキュメント

質問2

ちょっとこのまま回答することは難しいです・・

色々想定外の動作と設計があったのではないかと思いますし、
実際にコードとして呼び出すときに JSON をどのように与えるかなど、
クラスの設計が本来どのような形の機能とインターフェースを意図していたのかが判断しづらいためです

一度コードを整理していただき、この質問とは別に新たに質問を投稿していただくと
明確な回答が得られやすいのではないかと思います

Comments

[dt9672]

今回の動作の仕組みがよくわかりました。
なんとなく、loadsしたparmsがよそにくっついているのかな、くらいの感覚はあったものの、クラス変数について理解が不足していました。
また、__dict__で確認できることがわかり後学になりました。ありがとうございました。