予期しないOSのシャットダウンでのjsonファイルの消失を防ぐ方法

問題

予期しないOSのシャットダウンやクラッシュによって保存されるべきjsonファイルが空白のみになってしまってデータが消失してしまうエラーが度々起こってしまうのですが、これを防ぐための最適な方法を教えていただきたいです。

因みにファイルの大きさは500KB近くでまだ大きくなるかと思われます。ファイルは３秒ごとに保存しています。

発生している問題・エラーメッセージ

python
1import json
2
3CLDATA = {}
4
5with open("db.json", mode="r", encoding="utf-8") as f:
6    CLDATA = json.load(f)
7
8while True:
9    time.sleep(3)
10
11    ...
12
13    with open("db.json", mode="wb") as f:
14        strd = json.dumps(CLDATA, sort_keys=False, ensure_ascii=False, indent=2)
15        f.write(strd.encode("utf-8"))

データベースの例

{
  "user": {
    "UC7gpQJYXtykp-mzkURzX8KA": {
      "info": {
        "name": "name",
        "pfp": "link",
        "subs": 10000,
        "views": 100000,
        "videos": 100,
        "chdate": "2020/01/01 00:00:00"
      },
      "messages": 10000,
      "lmsg": "2020/01/01 00:00:00",
      "linf": "2020/01/01 00:00:00",
      "points": 1000
    },
    ...
}

試したこと

UTF-8のエンコードを解除

補足情報（FW/ツールのバージョンなど）

Python 3.9.6

maisumakun

2021/09/23 07:06

保存方法が「JSONファイルでなければならない」縛りはありますか？

XiFlashlight

2021/09/23 07:07

いいえ、読み込めるのであればjsonである必要はないです。

行動規範の内容に同意します

回答2件

いいえ、読み込めるのであればjsonである必要はないです。

だったら、最初からジャーナル機能などの付いたRDBMSを使ってみるのもいいかと思います。

「データを破損しないように考える工数」を外出しできるので、やりたいことに集中できます。

投稿2021/09/23 07:19

maisumakun

総合スコア145184

XiFlashlight

2021/09/23 07:33

なるほど！蛇足な質問で申し訳ありませんが、RDBMSなどは上記に追加したデータベースのようなものでも保存や編集などができるでしょうか？

maisumakun

2021/09/23 07:37

データベースに当てはめるのが面倒（あるいは動的に変わるので困難）なら、JSONをそのままtext型で投入しておく（データ構造の管理はJSONとして行い続ける）という方法も考えられます。

行動規範の内容に同意します

ベストアンサー

ファイルを保存するときに同じ名前で保存すると事故が起きたときに消えてしまうことがあります。

python
1    with open("db.json", mode="wb") as f:
2        strd = json.dumps(CLDATA, sort_keys=False, ensure_ascii=False, indent=2)
3        f.write(strd.encode("utf-8"))

という処理を行う前に、バックアップを取るようにしましょう。

python
1import os
2・・・・・
3
4    try:
5        os.remove("db.json.backup")
6    except FileNotFoundError:
7        pass
8    os.rename("db.json", "db.json.backup")
9    os.with open("db.json", mode="wb") as f:
10        strd = json.dumps(CLDATA, sort_keys=False, ensure_ascii=False, indent=2)
11        f.write(strd.encode("utf-8"))