bashの文字列置換について

Question

cat $test1 | 
   sed $(awk '{printf("s/\[%s\]/%s/g;",$1,$2)')}',$test2)

上記のようなコードを書いており、sedとawkを使って文字列の置換をしています。
データの件数としてましては、test1が19752件、test2が1065件です。
特定の文字列のみを置換したいのですが、件数が多くタイムアウトになってしまいます。
※実際はもっと長いソースなのですが、訳ありで記載できません。　ご了承ください。

test1には、数式の中にある[syoukei00]という文字列で（00の部分は可変です。）
test2には、下記のように置換対象文字列と置換後の文字列が入っています。

syoukei00 100
syoukei01 101
syoukei03 102
syoukei04 103

速度を改善したいのですが、早い記述方法などはありますでしょうか？

私なりに色々調べてみたのですが、良く分からなかった為質問させていただきます。
申し訳ありません。
また、bashはほとんど素人同然なので初心者マークをつけさせていただきました。

他に情報が欲しい等ありましたら、記載できる範囲で記載させていただこうと思います。
よろしくお願いいたします。

Answer 1

このような単純な置換処理ならawkでできるので、わざわざsedを組み合わせる必要はないでしょう。

このシェルスクリプトの実行に時間がかかるのは、awkの呼び出してfile2を全部読みする処理をfile1の行数分繰り返しているからと推察されます。これでは、最終的にfile2から19753*1065行分の読み出しを行うことになります。
file2の情報を一回だけ読み込んでスクリプト内に保持しておけば、ディスクアクセスの時間を大幅に減らせます。

# test.awk

BEGIN{
    while((getline < reffile) > 0){
        subs["\[" $1 "]"] = $2
    }
}

{
    for(x in subs){
        gsub(x, subs[x])
    }
    print
}

awk -f test.awk -v reffile=test2 test1

Comments

[otn]

> awkの呼び出してfile2を全部読みする処理をfile1の行数分繰り返しているから
1回だけですね。

Answer 2

質問文に書いていないところに問題がある可能性が高いです。
どこで時間がかかっているのか、測定してみましょう。

Answer 3

昔、仕事でawkを使って処理していて、量が増えて遅くなってきたのでCで作成したら1～2桁早くなりました。
100～1000行くらいならawkでいいかもしれませんが、10,000行以上あるならばawk(インタープリター系)ではなく、C等コンパイラ系の言語に変更したほうがいいと思います。

Comments

[blu]

私もそう思っているんですが、都合上言語を変更できないんです...

[sage]

言語を変えられないのならばcpuを変えるしかないのでは?
または、awkのコンパイラを自作し、使用する。

[blu]

すみません、お恥ずかしい話ですがこれは職場での出来事なのです。
なので、言語も、CPUもコンパイラ自作もかないません…。

[sage]

業務上の案件ならば必要性を上司に訴え、高性能のCPUを買ってもらえばいい話では?(コンパイラを注文するとか)

[sage]

タイムアウトしない量に分割して処理するという手もありそうです。

[Zuishin]

そういう問題ではなく、入力の一行毎に awk を呼び出しているのが原因だと思います。
普通なら低評価までしないんですが、高評価が入っていたので下げました。