複数のJSONファイルをCSVファイルに変換する際、キーが存在しない箇所を0にしたい

Question

前提・実現したい内容

約1万ファイル、50万行ほどの膨大な量のJSONファイルを1つのCSVファイルにまとめたいです。
しかし複数のファイルにおいてデータが入っていない箇所があり、全ファイルを網羅的に変換してCSVファイルにまとめるとデータが入っていない部分が詰められてしまう状態です。

実現したい内容は以下の3点です。

• 複数JSONファイルを1行のCSVに変換して1つのCSVファイルに変換する
• 最初に変換したファイルのキーを参照して2つ目以降のファイルの変換を行う
• キーが一致する場所にデータを書き込み、キーが存在しなければ0を代入する

該当のソースコード

以下に記述しているのは実際に使用しているPythonコードです。現在の仕様では、「ネストされたJSONファイルをキーと共に出力する」となっています。

import sys
import json
import csv
import io


def to_string(s):
    try:
        return str(s)
    except:
        #Change the encoding type if needed
        return s.encode('utf-8')

def reduce_item(key, value):
    global reduced_item
    
    #Reduction Condition 1
    if type(value) is list:
        i=0
        for sub_item in value:
            reduce_item(key+'_'+to_string(i), sub_item)
            i=i+1

    #Reduction Condition 2
    elif type(value) is dict:
        sub_keys = value.keys()
        for sub_key in sub_keys:
            reduce_item(key+'_'+to_string(sub_key), value[sub_key])
    
    #Base Condition
    else:
        reduced_item[to_string(key)] = to_string(value)


if __name__ == "__main__":
    if len(sys.argv) != 4:
        print ("\nUsage: python json_to_csv.py <node> <json_in_file_path> <csv_out_file_path>\n")
    else:
        #Reading arguments
        node = sys.argv[1]
        json_file_path = sys.argv[2]
        csv_file_path = sys.argv[3]

        with io.open(json_file_path, 'r', encoding='utf-8-sig') as fp:
            json_value = fp.read()
            raw_data = json.loads(json_value)
        
        try:
            data_to_be_processed = raw_data[node]
        except:
            data_to_be_processed = raw_data

        processed_data = []
        header = []
        for item in data_to_be_processed:
            reduced_item = {}
            reduce_item(node, item)

            header += reduced_item.keys()

            processed_data.append(reduced_item)

        header = list(set(header))
        header.sort()

        with open(csv_file_path, 'a') as f:
            writer = csv.DictWriter(f, header, quoting=csv.QUOTE_ALL)
            writer.writeheader()
            for row in processed_data:
                writer.writerow(row)
        print ("Just completed writing csv file with %d columns" % len(header))

###変換するファイルの例
行数が非常に多いため、適宜省略して載せています。...が省略箇所です。

{
  "devices":[
    {
      "name": "IntGW-01",
      "modules": {
        "openconfig-interfaces": {
          "interfaces": {
            "interface": [
              {
                "name": "GigabitEthernet1",
                "config": {
                  "name": "GigabitEthernet1",
                  "type": "ianaift:ethernetCsmacd",
                  "description": "ManagementIF",
                  "enabled": true
                },
                "state": {
                  "name": "GigabitEthernet1",
                  "type": "ianaift:ethernetCsmacd",
                  "enabled": true,
                  "ifindex": 1,
                  "admin-status": "UP",
                  "oper-status": "UP",
                  "last-change": 1580105229000389000,
                  "counters": {
                    "in-octets": 17493436676, ...
                    "out-errors": 0,
                    "last-clear": 1580105112000091000
                  }
                },
                "subinterfaces": {
                  "subinterface": [
                    {
                      "index": 0,
                      "config": {
                        "index": 0,
                        "description": "ManagementIF",
                        "enabled": true
                      },
                      "state": {
                        "enabled": true,
                        "name": "GigabitEthernet1",
                        "ifindex": 1,
                        "admin-status": "UP",
                        "oper-status": "UP",
                        "last-change": 1580105229000389000,
                        "counters": {
                          "in-octets": 17493436676, ...
                          "out-errors": 0,
                          "last-clear": 1580105112000091000
                        }
                      }
                    }
                  ]
                }
              },
              {
                "name": "GigabitEthernet2",
                "config": {
　　　　　　　　　　　〜上記GigabitEthernet1と同じ構成のものが8個〜
            ]
          }
        },
　　　　"ietf-interfaces": { ...
        },
　　　　"Cisco-IOS-XE-interfaces-oper": { ...
        },
　　　　"Cisco-IOS-XE-bgp-oper": { ...
        },
　　　　"Cisco-IOS-XE-platform-software-oper": { ...
        },
　　　　"Cisco-IOS-XE-memory-oper": { ...
        }
      }
    },
    {
      "name": "IntGW-02",
      "modules": { ...
        〜以下同じ構造のものが4つ〜
      }
    }
  ],
  "@log_name": "network-device-bgpnw2"
}

このプログラムをシェルスクリプトを用いて網羅的な処理をしています。

#!/bin/bash

dir_path="(フォルダパス)"
dirs=`find $dir_path -maxdepth 0 -type f -name *.json`

for dir in $dir_path;
do
	echo $dir
	python json_to_csv.py(上記Pythonファイル) computes $dir physical-data.csv
done

###その他
「キーを参照して一致すれば書き込み、なければ0」の処理方法が分からず苦戦しています。
拙い日本語ではありますが、教えて頂ければと思います。

###追記
編集願に「実行した時のCSVファイルと実現したいCSVファイルを載せてほしい」というものがありましたが、出力ファイルが非常に大きく、開こうとすると重すぎてまともに開けないという状況にあります。そのため実際の出力ファイルの中身は示すことができませんが、このような雰囲気の出力をしたいというものを書かせていただいております。

###実際の出力
2つのファイルを処理したとき、2つ目のJSONファイルにキーがCの要素がなかったとしています。スクリプトで処理しているため、キーが処理した回数分表示されます。

"A","B","C","D"
1,2,3,4
"A","B","D"
5,6,7

###実現したい出力

"A","B","C","D"
1,2,3,4
5,6,0,7

Comments

[Thrush]

どういう結果を得たいのかをもう少し詳しく説明していただけると解答しやすいです。
以下のファイルを添付するのが最も簡単です
① 実装したコード
② inputするjsonファイルの例
③ ②をinputした際、実際に出力されるcsvファイル
④ ②をinputした際、出力したいcsvファイル

[rikku_3413]

要望になるべく添えるように修正を加えました。
確認の方をよろしくお願いします。