Q&A
例として、大量のユーザIDとその人の購買履歴が行ごとに書かれているテキストファイル（IDごとに書かれている行は不定）を読み込んで、ユーザID一つ分だけのデータを個別ファイルへと出力したいと言った状況の時、考えられる処理としては一回リストとしてファイルを読み込み、ユーザIDごとにそのデータのインデックスを取得しランダムアクセスしながらID別のファイルを出力するなどがあると思います。
しかし、全てのデータをリストとして持つことができないほどデータ量が多い場合に、ファイルを分割して読み込むことなく一つのプログラムで処理することは不可能なのでしょうか？
リストなどの重いデータ構造を使わずに可能な方法があれば教えてくださると助かります。
回答1件
0
ベストアンサー
chunksizeを指定してpandasでテキストファイルを読み込む方法があります。
pandas でメモリに乗らない 大容量ファイルを上手に扱う
daskモジュールを使用する方法もあります。
PythonでCSVを高速＆省メモリに読みたい
Dask メモリにのらない大規模なcsvデータの取扱について
投稿2020/09/16 12:28
総合スコア10579
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。