Pythonによるデータ加工での大容量csvの扱い

Question

Pythonにてメモリに乗り切らない大容量csv（数百GB）の加工の仕方についてアドバイスをください。

処理としては単純で、各レコードを一意に特定するようなIDを新たなカラムに格納していくだけなのですが、加工対象のcsvが大容量でメモリに乗らないため、どのように処理するか悩んでおります。

加工のイメージは以下の通りです。

name, amount, date
tanaka, 1000, 20180101
satou, 1200, 20180101
suzuki, 899, 20180102

といったcsvに対して

tranID, name, amount, date
0001, tanaka, 1000, 20180101
0002, satou, 1200, 20180101
0003, suzuki, 899, 20180102

といった形式で、一意となるIDをふるイメージです。

メモリにのる量であれば、panadsを使ってdataframeでtranIDを必要レコード数分作成し、結合すればよいかと思ったのですが、
今回ファイルサイズが大きいため、1行ずつの処理などが必要と思っておりますが、
いまいちいい書き方が思いつかず、アドバイスをいただけますと幸いです。

使用している環境はPython3系になります。
よろしくお願いいたします。

Comments

[Kunihiro_Narita]

単純にIDをふるだけなら「1行分を文字列として読む、文字列の先頭にIDを付与する、文字列を1行書く」だけで、わざわざ聞くような話でもないですよね。本当に聞きたいことはBigDataを扱うプログラムの書き方ではないですか？

[tom_drums]

仰る通りで、大目的としてはpythonでbig dataを扱う場合の処理方法を知る必要があるのが背景です。ただ、当方初学者のため、「「1行分を文字列として読む、文字列の先頭にIDを付与する、文字列を1行書く」という処理を巨大なファイルに対して実施する際の書き方に自信がなく、このような質問をさせていただきました。

Answer 1

python上で何らかの発展を考えているなら完全に趣旨違いとなりますが、こういう大きなファイルに対して「一行読んで処理してそのまま読み捨てる」処理だけを試みるなら、awkやperlを使ったほうが遥かにシンプルですね。

awk 'NR==1{printf("tranID,")} NR>1{printf("%04d,",NR-1)} {print}' input.csv

Comments

[tom_drums]

ありがとうございます。
たしかにawkやperlだと簡単そうですね。
今回は、諸事情ありpythonで処理が必要だったため、他の方をベストアンサーにさせていただきました。

Answer 2

これでCSVを1行ずつコピーしていくコードになるので、これを発展させれば目的の処理は達成できると思います。

from csv import reader, writer

with open("input.csv", encoding="utf-8-sig") as fin:
    with open("output.csv", "w", encoding="utf-8-sig", newline='') as fout:
        wt = writer(fout)
        for row in reader(fin):
            wt.writerow(row)

Comments

[tom_drums]

ありがとうございます。
いただいたコードをもとに発展させてやりたい処理が実現できました。

Answer 3

一度に扱えないサイズのBigDataを処理するための汎用的な話をしますね。

BigDataを扱うには、元となるデータを一度に処理可能な量（数十MB程度）に分割して処理を行うバッチ処理か、最小単位のデータ（１行）毎に処理を行うストリーム処理の何れかになります。

ビッグデータを処理するための環境として知られているApatch Hadoopは前者を、RDBに対するSQL文の処理などは後者の方法を使っています。

今回のように一行ずつのデータに対して処理を行う場合には、バッチ処理でもストリーム処理でも良いのですが、複数の行にまたがった計算処理を行う場合にはバッチ処理でないと難しくなります。例えば時系列にそった移動平均を計算しようとするなら、元となるデータを時系列順に並び替えなくてはなりません。ですが並び替える処理は多くのメモリを使用するため、データ量が多いと一度にはできません。こういう部分はストリーム処理では実現できず、バッチ処理になります。

またビッグデータの処理では、どのような中間データを出力するかが肝になります。移動平均を算出する場合には「順不同の元データ→各月毎のデータに分割→各月毎のデータを並び替え→月毎のデータを結合→移動平均算出」のように、何段階かのバッチ処理に分ける必要があるでしょう。この時に汎用性を考えた中間データを作成しておかないと、異なる集計を行う場合に最初からやり直すために、多くの時間がかかる事になります。

Answer 4

いまいちいい書き方が思いつかず、アドバイスをいただけますと幸いです。

とりあえず一行ずつだとI/Oがしんどいので、100行とか1000行ずつ読んだら多少マシになったりしないかなぁ、と思いました。

Comments

[tom_drums]

確かに一つのやり方としては、なるべく分割して処理する、がセオリーなのかな、と思いました。ありがとうございます。