bash:for文でSELECT文をgrepする方法について教えてください。

Question

###前提・実現したいこと
シェルスクリプトで、SQLが記載されたあるログファイルから各SELECT文の割合を算出したいです。
簡易的な割合のため、where句以降は省略してユニーク化させています。
仕組みとしては、ログファイルのSELECT文をユニーク化し、それを元にログファイルから各SELECT文の割合を算出したいと思っています。

###期待する結果。
#例 <SQL>,<行数>
SELECT cid, name, address FROM test1;,3
SELECT class, school FROM test2;,3
SELECT company, train, station FROM test3;,3

上記のような形で、対象のSQLとそのSQLがファイル内に存在する行数が表示されるようにしたいです。

###発生している問題・エラーメッセージ
セミコロンを区切り文字にしているのでクエリ毎に変数へ格納できているのですが
grepがうまくいかず、wc -lの結果で全行が返ってきてしまいます。
grep内の変数をダブルクォーテーションでくくってみた入りもしましたがうまくいきませんでした。（スペースがあるからでしょうか…

###ソースコード
使用例：./test.sh(以下のスクリプト) <ログファイル>

#!/bin/bash
IFS_BACKUP=$IFS
IFS=$';'   ←セミコロンで区切り、for文の変数に格納しています。
for n in $(sort ${1} | uniq | grep -i select | awk -F'\t' '{print $ 3}')
do
  echo "${n},$(grep ${n} ${1} | wc -l)"
done
IFS=$IFS_BACKUP

### ログファイル
1       162015  SELECT cid, name, address FROM test1;
2       162015  SELECT class, school FROM test2;
3       162015  SELECT company, train, station FROM test3;
1       162015  SELECT cid, name, address FROM test1;
2       162015  SELECT class, school FROM test2;
3       162015  SELECT company, train, station FROM test3;
1       162015  SELECT cid, name, address FROM test1;
2       162015  SELECT class, school FROM test2;
3       162015  SELECT company, train, station FROM test3;

###補足情報(言語/FW/ツール等のバージョンなど)
OS:CentOS6.7

Comments

[otn]

他人が再現できるように入力データを示してください。
あと、期待する出力結果も。
また、awkでタブを区切りに指定していますが、データ中にタブがあると言うことですか？

[退会済みユーザー]

色々と情報不足ですみません。ご推察の通りデータ中にタブが存在します。

Answer 1

はじめに
もしかして、ログファイルはWindows上で作成されたものでは？
そして、スクリプトはCentOS上で作成していませんか？

説明
Windows上での改行コードは「CR+LF(\r\n)」になります。
対してCentOS(Linux)での改行コードは「LF(\n)」になります。
IFSへは直接改行を入力されているので「LF(\n)」が区切り文字になっていると思います。

結果として抽出したSQL分の;の後に「CR(\r)」が残ったままとなり、
"${n}"を出力後、行頭に移動して",$(grep "${n}" ${1} | wc -l)"の出力になるので
行頭から上書きする状態でカンマ以降が出力されるのだと思います。

ログファイルに対して以下のコマンドを実行すると確認できます。

$file sample.log
sample.log: ASCII text, with CRLF line terminators

結果が上記の通りなら、これが原因かと思われます。

IFSの設定を以下のように変更すれば対応できると思います。
手元の環境(vagrantで構築したCentOS 6.7)での確認しました。

IFS=$'\r\n'
# 制御コードを含めるときに$を付けます。
# ２つ指定してますが個別に判定されるので、CR+LF、LFのどちらでも対応できます。
# 区切り文字として読み捨てられる感じに。

あとは、実際のログファイルを確認できないので上記の状態でなければ不明です。

Answer 2

夜分にご覧いただいたのにすみません。
一応結果だけで言うと自己解決いたしましたので、その内容とともにご報告させていただきます。

まず、うまくgrepで抽出できていなかった原因ですが、改行がその原因のようでした。
よくよくデバッグ出力の結果を見ると、grepの直後に改行されていました。

++ grep '"  ←ここで改行
SELECT cid, name, address FROM test1;,3

そのため、スクリプトの区切り文字を';'→改行に変更することにしました。

*** wariai.sh.org       2016-02-16 08:25:52.855007303 -0800
--- wariai.sh.org2      2016-02-16 08:28:00.410006453 -0800
***************
*** 1,6 ****
  #!/bin/bash
  IFS_BACKUP=$IFS
! IFS=$';'
  for n in $(sort ${1} | uniq | grep -i select | awk -F'\t' '{print $ 3}')
  do
    echo "${n},$(grep "${n}" ${1} | wc -l)"
--- 1,7 ----
  #!/bin/bash
  IFS_BACKUP=$IFS
! IFS=$'
! '
  for n in $(sort ${1} | uniq | grep -i select | awk -F'\t' '{print $ 3}')
  do
    echo "${n},$(grep "${n}" ${1} | wc -l)"

しかし、区切り文字の変更が想定外の動作となりました。
<SQL>,<行数>という結果を期待していましたが、,<行数><SQL>という結果となり、しかもSQLの一部に侵食するように形が崩れていました。その結果が、以下です。

SELECT cid, name, address FROM test1;,3 ←期待する結果
,3ELECT cid, name, address FROM test1;  ←今回の結果

そこで、echoで出力する順番を以下のように変更しました。

*** wariai.sh   2016-02-16 08:06:21.895007284 -0800
--- wariai.sh.org2      2016-02-16 08:28:00.410006453 -0800
***************
*** 4,9 ****
  '
  for n in $(sort ${1} | uniq | grep -i select | awk -F'\t' '{print $ 3}')
  do
!   echo "$(grep "${n}" ${1} | wc -l),${n}"
  done
  IFS=$IFS_BACKUP
--- 4,9 ----
  '
  for n in $(sort ${1} | uniq | grep -i select | awk -F'\t' '{print $ 3}')
  do
!   echo "${n},$(grep "${n}" ${1} | wc -l)"
  done
  IFS=$IFS_BACKUP

その結果、当初の期待する結果の形とは違いますが、目的である、対象のSQLのそのログファイル内での割合（何行存在するか？）を割り出すことができました。

3,SELECT cid, name, address FROM test1;

しかし、この理屈を理解できていず、結果オーライの状態になってしまっています。改行が影響していることはわかるのですが……

もし、この仕組みに心当たりある方がいらっしゃいましたらご教示いただけますと幸いです。

以上、よろしくお願いいたします。

Comments

[StupidDog]

ちょっと長くなったので回答へ…

Answer 3

セパレータがセミコロン ; なのでしたら、

IFS=$';'

を

IFS=';'

としてみるとどうなりますか？

otnさまがご質問を出されている通り、情報が不足しているので正しい回答かどうかわからないまま手探りの回答となってしまいすみません。

Comments

[otn]

bashでは ';' と $';' は同じですよ。つまり $ を付ける意味は無いのですが、取っても同じです。

Answer 4

重複して回答してしまいましたので、こちらは削除しました。

Comments

[Ken.sakanakana]

最近回答ボタンを押しても反応が無い事が多く、時折二重にボタンを押してしまうことがあります。。。すみません。