Pythoの容量の大きいファイルをfor文で実行するのにとても時間がかかる

Question

#test.csvの一部

   create_at  \
0  Sun Jul 22 07:23:39 +0000 2018   
1  Sun Jul 22 04:44:03 +0000 2018   
2  Sat Jul 21 15:28:48 +0000 2018   

   tweet  \
0  あげみー！ https://t.co/pqbYn2wf08          
1  本日ラジオ。ジ日オラ本。         
2  海賊王になるのは誰だ。。。 https://t.co/6idYoGEZD5         

日付が月曜、火曜、水曜、木曜のtweetだけ抽出してcsvに保存したいと考えています。
しかし、test.csvの容量が５GBあるためか、実行から4日ほど経過してもいまだに実行中のままです。

ソースコード上で工夫したらよい点とかあるでしょうか。

アドバイスよろしくお願い致します

tweet_df = pd.read_csv('./test.csv', encoding='utf-8', names=('create_at', 'tweet'), engine='c')
train_df = pd.DataFrame( columns=['create_at', 'tweet'] )

for i in range(tweet_df['tweet'].shape[0]):
　　　　if 'Mon' in str(tweet_df['create_at'][i]) or 'Tue' in str(tweet_df['create_at'][i]) or 'Wed' in str(tweet_df['create_at'][i]) or 'Thu' in str(tweet_df['create_at'][i]):
            tmp = pd.Series([tweet_df['create_at'][i], tweet_df['tweet'][i]], index=train_df.columns)
            train_df = train_df.append(tmp, ignore_index=True)

train_df.to_csv("train_df_1.21.csv")
print(tweet_df['tweet'].shape[0])

使用しているPCについて

• macOS High Sierra　version 10.13.6
• プロセッサ　3.2GHz Intel Core i5
• メモリ　8GB 1600MHz DDR3

Answer 1

ファイル内容を全部変数に入れるのをやめて、1行ずつ読んで処理するように書き直せばいいと思います。

Answer 2

推測ですが、tweet_df と train_dfふたつ分で、合計およそ10GBがメモリ上に乗ろうとしてディスクスワップを起こしているため時間がかかっているのだと思います。

こういう場合、Pythonだけでなんとかしようとせず、ある程度の前処理を行うのがよいかと思います。
「前処理大全」なんて本があるくらいです。

では、どういう作戦で行くか。

• create_atのデータとtweetのデータを別ファイルにする
• 月火水木に該当する行番号だけを別ファイルに出力する
• tweetデータの該当行だけ別ファイルに出力する（ただしこの場合も一度にすべてのデータを読み込むのではなく、ファイルから一行ずつ読み込む感じにスクリプトを変更すること）

くらいかなぁと思います。

Answer 3

ちょっと元CSVファイルのカタチが明確ではありませんが、単純なカンマ区切りで１行１ツイートで構成されたデータとして回答します。

時間がかかる原因と基本的な対応方法は他の方の回答のとおりです。
Pythonで処理するとしたら以下のような感じで時間短縮できると思います。

import re
m = re.compile(r'(Mon|Tue|Wed|Thu)')

with open('test.csv',encoding='utf-8') as fin:
    with open('train_df_1.21.csv','w',encoding='utf-8') as fout:
        for line in fin:
            l = line.split(',') # create_at列を抽出
            if len(l) > 0 and not m.search(l[0]):
                continue
            fout.write(line)

Answer 4

メモリに 5GB ファイル全体を読み込むのは無謀です。

対処案はいくつかあります。

１. 読み込むファイルそのものを分割して、それぞれのファイルに対して処理をして、その結果を１つにまとめる。
ファイルを分割するのは、プログラムでおこなうってもよいし、linux の split コマンドをつかってもよいかもしれません。
現在つかっている処理プログラムはそのまま流用できます。

２. ファイルを一行ずつ読み込んで、一行ごとに抽出するかを判定して、結果ファイルに書き出すようにプログラムを書き換える。

３. csv ファイルを DB に読み込ませて、処理や csv 書き出しを DB を使っておこなうようにする。
DB は 自分の PC 上で mysql や postgres などを可動させてもよいし、
Google の BigQuery などをつかうようにしてもよいです。

• Ruby で CSV ファイルを扱う

https://www.kunihikokaneko.com/cc/rubydb/rubycsv.html

• TSVファイルを読み込んでDBへデータを流し込む

https://qiita.com/yu-croco/items/56f0ae62e4c5914d46b5

• ローカル データソースから BigQuery にデータを読み込む

https://cloud.google.com/bigquery/docs/loading-data-local?hl=ja

Answer 5

丸呑みは止めて行ごとの処理にしようという点は他の人と同意見です。
書き出すべき行の番号を先にリストアップしておき、それぞれ別ファイルに書き出すという形でコードしてみました。細部にミスがあるかもしれません。

d = {"Sun":[], "Mon":[], "Tue":[], "Wed":[], "Thu":[], "Fri":[], "Sat":[]}
fout = {"Sun":[], "Mon":[], "Tue":[], "Wed":[], "Thu":[], "Fri":[], "Sat":[]}

for x in fout.keys():
  fout[x] = open("out_{}.txt".format(x), "w")

with open("test.csv", "r") as f:
  for txt in f:
    cols = txt.split()
    if len(cols)==0:
      continue
    elif cols[0]=="tweet":
      break
    else:
      d[cols[1]].append(cols[0])

  for txt in f:
    cols = txt.split()
    if len(cols)==0:
      continue
    for x in ("Mon", "Tue", "Wed","Thu"):
      if cols[0] in d[x]:
        fout[x].write(txt)

for f in fout:
  f.close()