質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
JSON

JSON(JavaScript Object Notation)は軽量なデータ記述言語の1つである。構文はJavaScriptをベースとしていますが、JavaScriptに限定されたものではなく、様々なソフトウェアやプログラミング言語間におけるデータの受け渡しが行えるように設計されています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

1回答

2368閲覧

pythonでgunzipで圧縮されたJSONファイルの読込

KM56894995

総合スコア13

JSON

JSON(JavaScript Object Notation)は軽量なデータ記述言語の1つである。構文はJavaScriptをベースとしていますが、JavaScriptに限定されたものではなく、様々なソフトウェアやプログラミング言語間におけるデータの受け渡しが行えるように設計されています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2019/01/24 08:11

前提・実現したいこと

gunzipで圧縮されたJSONファイルを読み込みデータ分析をしたい。
下記の問題があるため1行ずつの読み込みを行いたいと考えています。

発生している問題・エラーメッセージ

メモリがたりずにハングアップしてしまいます。

該当のソースコード

言語:pyhton

for f in files_name:
with gzip.open(f, "r","utf_8") as f:
for line in f:
data = {i : json.loads(line) for i, line in enumerate(fi)}

試したこと

readline()で一行ずつの読み込みが出来るのですが、この後にデータの抽出等を行いたいのでJSON形式で読込したいと考えています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tiitoi

2019/01/24 08:23

メモリは何Gで読み込もうとしているファイルはどのくらいのサイズがあるのですか? 読み込もうとしている json ファイルの中身はどのようなものですか?
guest

回答1

0

データサイズ、JSON形式など詳細など不明ですが…
通常のJSON形式ファイルであれば、1行ずつJSONデータに変換することはできないので、いったん文字列としてすべて読み込んだあとに変換するしかないと思います。
動作未検証ですが、以下のようなコードになります。

Python

1for f in files_name: 2 s = '' 3 with gzip.open(f, "r","utf_8") as f: 4 for line in f: 5 s += line 6 data = json.loads(s)

投稿2019/01/24 08:25

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

KM56894995

2019/01/25 00:38

ありがとうございます。 1行ずつは読み込めないんですね…
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問