前提・実現したいこと
gunzipで圧縮されたJSONファイルを読み込みデータ分析をしたい。
下記の問題があるため1行ずつの読み込みを行いたいと考えています。
発生している問題・エラーメッセージ
メモリがたりずにハングアップしてしまいます。
該当のソースコード
言語:pyhton
for f in files_name:
with gzip.open(f, "r","utf_8") as f:
for line in f:
data = {i : json.loads(line) for i, line in enumerate(fi)}
試したこと
readline()で一行ずつの読み込みが出来るのですが、この後にデータの抽出等を行いたいのでJSON形式で読込したいと考えています。
メモリは何Gで読み込もうとしているファイルはどのくらいのサイズがあるのですか?
読み込もうとしている json ファイルの中身はどのようなものですか?