globを用いて複数jsonファイルを一括でSQLiteに格納したい

Question

前提・実現したいこと

pythonでglobを用いて複数ファイルを一括でSQLiteに格納したい。

発生している問題・エラーメッセージ

例えば、3400.json.gz , 3401.json.gz , ・・・ , 3409.json.gz　の10個のファイルをSQLiteに格納したく、以下のようにプログラムを実行したのですが、データベースを確認すると3409.json.gzのデータしか入っていませんでした。

該当のソースコード

import pandas as pd
import sqlite3
import json
import glob

path = "/content/drive/My Drive/Google Colab/niconico_dataset_add_smid/comment_dst" 
all_files = glob.glob(path + "/340*.json.gz")

li = []

for filename in all_files:
    df = pd.read_json(filename, compression='infer', orient='records',lines=True)
    li.append(df)

conn = sqlite3.connect('2525.db')
c = conn.cursor()
df.to_sql('comment', conn,if_exists='append')

conn.commit()
conn.close()

試したこと

csvファイルで同様に行った場合はうまくいきました。
globのワイルドカードは'340*','340?','340[0-9]'で検証しましたが同じ結果になりました。

Answer 1

csvファイルで同様に行った場合はうまくいきました。

とありますか、ファイル形式以外は質問のコードと全く同じでしたか？

for filename in all_files:
    df = pd.read_json(filename, compression='infer', orient='records',lines=True)
    li.append(df)

conn = sqlite3.connect('2525.db')
c = conn.cursor()
df.to_sql('comment', conn,if_exists='append')

上記コードですとfor文の最後の処理のデータフレームのみを書き込みしているかと思います。

Comments

[kotamu]

回答ありがとうございます。たしかにdfは更新されているので最後しか処理されませんね。リストをやめて、for文中でdfを更新する都度、データベースに格納することでうまくいきました。