while文の処理が重たいので別の書き方があるか知りたい

Question

##現状
DATAFAILEからlistにある数字の順に、対応する行を抜き出して、OUTFILEに追記しています。

echo -n > OUTFILE
while read line
  do
    grep -E "$line" DATAFILE > buf >> OUTFILE
  done < list

##困っていること
上記コードで目的の結果は得られるのですが、抽出結果が1万行くらいになると、途中で止まってしまうことがしばしば起こります。
止まらずに完了できる書き方はあるのでしょうか。
アドバイスよろしくお願いいたします。

Comments

[takasima20]

DATAFILE と list のサンプルを追記してもらってもいいスか?　あと、それぞれの行数とか。

[noritamako]

回答いただいたのに長期追記できず申し訳ございませんでした。業務での困りごとではありましたが、外部にアドバイスを求めたということで注意を受けてしまい、回答を控えてしまいました。気にかけていただきありがとうございました。

Answer 1

細かい条件が分からないので、もっとやりようはあるかもしれませんが…

1. DATAFILEの1行を1ファイルになるよう分割する
2. その際、list内の記述からファイル名を類推できるようにしておく
3. listをwhileでreadしてファイル名からcatで追加(grepは使わない)

※ファイル数が多い場合はディレクトリ分けするなりなんなり

P.S たぶん KojiDoiさんのように高級言語なスクリプト使うのが正解かと思います。

Comments

[noritamako]

回答いただきましてありがとうございます。今回はうまく使えなかったのですが、少ない行数のデータ整理のときに参考にさせていただきました。返信が遅くなって申し訳ございませんでした。

Answer 2

実用になるかはファイルのサイズにもよる気がしますが、対象ファイルの中身を丸呑みして検索するのはどうでしょう。

awk 'BEGIN{while(getline x[i++] < "DATAFILE" >0){}} {for(j=0; j<i; j++){if(x[j]~$0){print $0, x[j]}}}' list > OUTFILE

windows10, USBメモリに入れたMSYS2, Pentium GOLD G5420, RAM32GBという組み合わせで、DATAFILE、listそれぞれ10000行、100000万行の数字が並んでいるファイルとして用意して実行させてみたところ、10分弱で終了しました。たいていの環境はもう少しパワフルだと思うので、もっと良い成績が出るのではないかと。

Comments

[noritamako]

回答いただきありがとうございました。成績としてはあまり効果がなかったのですが、awkのgetlineを初めて使って勉強になりました。今回できるだけ一般的な質問に落としたつもりですが、業務に関わることで外部にアドバイスを求めたということで注意を受けてしまい、返信が遅れてしまいました。ありがとうございました。

Answer 3

grep -E -f list DATAFILE >> OUTFILE

で良いかと思います。

また、標準出力のリダイレクトが2つあるので1つ目の> bufは無視されますね（bufを空ファイルにする効果はある)。

Comments

[otn]

と思ったけど、OUTFILEに書かれる順序が問題になるなら、駄目ですね。

[noritamako]

otn様、回答ありがとうございます。はい、順番が大切なのです。それで一行ずつ追加する方法しか思いつきませんでした。サーバが重いと処理が止まってしまうので、いちいち書きだすのが悪いのかと思ったのです。

[otn]

順番が大事だとすると、listの行数の回数だけ、DATAFILEを全部読まないといけないので、本質的な改善は無理でしょう。
あとは、並列化ですが、ネックとなるファイルが1つなので、IOネックは改善しないでしょうね。

[noritamako]

otn様、結局のところ、朝一番の空いている時間に一気に実行する、という手段を超える成績の解決策が見つかりませんでしたが、参考になりました。ありがとうございました。