フォルダ内の全てのjsonデータをcsvデータに出力する方法

Question

実現したいこと

1つのjsonデータ（data001.json）をcsvデータ（data001.csv）に変換することはできたのですが，フォルダ内（invalid）の全てのjsonデータを一括でcsvに変換して出力する方法を教えて欲しいです。200以上のデータがあるので…

なお，以下が1つのjsonデータをcsvデータに変換するためのコードです。

該当のソースコード

import json
import pandas as pd
import numpy as np

# データ
json_file = open("/content/drive/MyDrive/data/invalid/data001.json", 'r')
data = json.load(json_file)

# 全行に共通して存在する項目名のみ抽出
common_keys = None
for row in data.values():
    if common_keys:
        common_keys &= set(row.keys())
    else:
        common_keys = set(row.keys())

# 全行から共通項目のみの辞書のリストを作成
rows = []
for key, row in data.items():
    row = {k:v for k,v in row.items() if k in common_keys}
    row['idx'] = key
    rows.append(row)

df = pd.json_normalize(rows)
df.to_csv("/content/drive/MyDrive/data/data001.csv")

Comments

[8524ba23]

具体的にそれを実現するために何が分からないのかを記載ください。
経験上、回答しても「それは分かるのですが～が分からないのです」
とコメントくる可能性が高いと思われるので。

[Muuuuki]

コメントいただきありがとうございます。
jsonデータをdataframeにして，それをcsvとして保存することを，フォルダ配下全てのjsonデータ一括に処理するプログラムを作りたいです（data001.csv, data002.csv, data003.csvとなるように）。しかし，私自身，エンジニアではなく，プログラミンを始めたばかりで，該当のソースコードにどんなコードを追加，修正すれば良いかわからない状況です。

[hoshi-takanori]

該当のソースコードには JSON ファイルを開いて、変換して、CSV で書き出すという一連の処理が、ファイル名決め打ちでベタ書きされてますが、これを関数にして、ファイル名も引数で受け取るようにして、フォルダ内の各 JSON ファイルに対して呼び出すように書き換えると良いかと。

[Muuuuki]

コメントいただきありがとうございます。
関数にする必要があるんですね。プログラミングを始めたばかりで，関数作成はまだ手探りであるため，その辺りを再度勉強してみます。

[jbpb0]

参考
https://stackoverflow.com/questions/73087960/json-data-into-individual-csv-file

[Muuuuki]

jbpb0様，いただいたURLを参考にして実行したところ上手くいきました！本当に助かりました！

Answer 1

import pandas as pd
import glob
path = '/content/drive/MyDrive/data/detect_FOG/*.json'
files = glob.glob(path)
for file in files:
    df = pd.read_json(file)
    t = df.apply(lambda x: pd.Series(x[0]))
    df = pd.concat([df, t], axis=1)
    df.to_csv(f'{file[:-5]}.csv')