CentOSでログを抽出するシェルスクリプトを作成したい。

Question

CentOS6 を利用しています。
サーバログを抽出のうえzip化し保管する方法を考えています。

たとえば、下記のように2016年のファイルのみを抽出し、ディレクトリに移動をし、最後にzipコマンドで圧縮します。

# ls -1 /var/log/yum.log-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG
# ls -1 /var/log/spooler-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG

              ・
              ・
              ・
#  zip -r SERVERLOG.zip SERVERLOG

しかし、対象のファイルがひとつのサーバにつき、30ファイルほどあります。
1回ずつコマンドをコピーペーストすることを非効率と思う場合は、やはりシェルスクリプトを作成するしかないでしょうか？
シェルスクリプトを作成した経験がないため、書き方や考え方につき教えていただきたく思います。

宜しくお願いいたします。

Answer 1

作業内容をシェルスクリプト化するには、実行したコマンド列の先頭行にシェバン（#!/bin/bash のように実行する処理系の種類を示す #! で始まる行）を付けてテキストファイルに保存し実行権を付ければ良いだけです。

あと、保存対象のログファイルのネーミングルールを良く考えると、場合によってはかなり簡略化したコマンドで処理が可能なので、数行のコマンド（あるいは ; で繋いで一行にする）で済むので、数コピー＆ペーストで十分な場合もあります。

もし /var/log 配下の xxxxx-2016yyyyyy のようなログが対象なら、下記のように書けます。

# cd /var/log; /bin/ls -1U *-2016* | cpio -pdmu /home/user/SERVERLOG; cd /home/user; zip -r SERVERLOG.zip SERVERLOG

処理系にもよりますが、/bin/ls -1U の様にすると結果をソートせずに表示するので、対象が多い場合にも動作が速いです。

もし対象ファイルの選択がもっと複雑なら、ls結果をファイル名の「カギとなる部分」で適宜grepする必要がありますが、その場合は egrep を使うとorを表す | をバックスラッシュ \ でエスケープしなくて良いので、見通しが良くなります。

例えば以下のように

... /bin/ls -1U *-2016*             |
egrep 'yum.log|spooler| ... '   |
cpio ...

なお、パイプ | で改行しても同一行と見なされるので、全体が長くなる場合には便利です。

Answer 2

ログがきちんと00:00でローテートされてるなら

tar cvpf - /var/log/yum.log.2016* /var/log/spooler-2016* | gzip > /<dir>/<outfile>.tar.gz

zipじゃないですけど。

Answer 3

余分なファイルが入る可能性はあり？　...の部分は実名で置換えください、

zip -j /home/user/SERVERLOG.zip /var/log/{yum.log,spooler,...}-2016*

シェルスクリプトでしたね。

#!/bin/sh
while read ff
do
        echo "archive ${ff}"
        zip -j /home/user/SERVERLOG.zip ${ff}
done<<_EOF_
$(ls -1 /var/log/yum.log-20* | grep -v "2013\|2014\|2015")
$(ls -1 /var/log/spooler-20* | grep -v "2013\|2014\|2015")
.....
.....
_EOF_

シェル実行ユーザは読込み権限を持っている必要があります。

Answer 4

示されたコマンドを踏襲するとして

#!/bin/sh
logd='/var/log/'
targ="2013\|2014\|2015"
outd='/home/user/'
outf='SERVERLOG'

logf='yum.log-20'
ls -1 "$logd$logf"* | grep -v $targ | xargs -i cp -p {} $outd$outf
logf='spooler-20'
ls -1 "$logd$logf"* | grep -v $targ | xargs -i cp -p {} $outd$outf
              ・
              ・
              ・
cd $outd
zip -r "$outf".zip $outf

Answer 5

# ls -1 /var/log/yum.log-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG
# ls -1 /var/log/spooler-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG

              ・
              ・
              ・
#  zip -r SERVERLOG.zip SERVERLOG

が問題なく動いてると仮定して、

• archive.sh

#!/bin/bash
ls -1 /var/log/yum.log-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG
ls -1 /var/log/spooler-20* | grep -v "2013\|2014\|2015" | xargs -i cp -p {} /home/user/SERVERLOG

              ・
              ・
              ・
zip -r SERVERLOG.zip SERVERLOG

で行けるんじゃないかと思います。
実行権限を与えるのをお忘れなく。

chmod +x archive.sh

です。