シェルスクリプト：特定のレコードを出力したい(awk uniq sort print)

Question

前提・実現したいこと

sqlで抽出したデータで以下の機能をするスクリプトを作成しています。
①各レコードで対象の項目(カラム)に重複が無いかチェックする。
②該当するレコードを出力する。

①の機能は作成できましたが、②の機能を作るのに四苦八苦しております。
該当するレコードを出力したいのですが、重複チェックした部分しか出力できずにいます。

発生している問題

test_checked.txt

 27         27          0
 27         27          0

理想とする出力結果

test_checked.txt

004       3456         27         27          0 テスト4
005       7890         27         27          0 テスト5

作成してるスクリプト

test_check.sh

#!/bin/ksh

### 重複チェック結果の出力先 ###
TXT=/hoge/test/test_checked.txt

### sqlで抽出したファイルの重複チェック結果を出力する ###
#$1 : 抽出したファイル(test.txt)
#awk '{print $3,$4,&5}':重複を確認したい項目
cat $1 | awk '{print $3,$4,$5}' | sort | uniq -d > $TXT

### 出力ファイルサイズが0より大きいことを真として条件式でメッセージを出力する ###
if [ -s "$TXT" ]; then
        echo "重複がありました。"
else
        echo "重複はありませんでした。"
fi

抽出データ

test.txt

001       1234          8         19         14 テスト1
002       5678          6          4          0 テスト2
003       9012          7          8          6 テスト3
004       3456         27         27          0 テスト4
005       7890         27         27          0 テスト5
006       1123          8         19         26 テスト6

補足情報（FW/ツールのバージョンなど）

teratermでの作業となっています。
他に必要な情報がありましたら申してください。

Comments

[winterboum]

「重複している」とは、 「３，４，５ の ３項目が全く同じデータがある」ということですか？

[710LOVER]

そうです。
３，４，５の３項目が他のレコードでも同じ数値になっていることを「重複している」としております。

質問の回答になっていなかったらごめんなさい。

[winterboum]

回答になってます。
で、
もういろいろ回答があがってますから大丈夫ですね

Answer 1

test.txt の内容を見ると、3,4,5列目の幅の合計は固定(11*3=33桁)の様なので、GNU coreutils の uniq コマンドで処理してみます。

テストのために重複行の位置を変更しておきます。

001       1234          8         19         14 テスト1
002       5678          6          4          0 テスト2
003       9012          7          8          6 テスト3
004       3456         27         27          0 テスト4
005       1123          8         19         26 テスト5
006       7890         27         27          0 テスト6

$ uniq --version
uniq (GNU coreutils) 8.32

$ cat test.txt | sort -k3,5 | uniq -D -f 2 -w 33 # 先頭の2列を無視、直後の33文字で比較
004       3456         27         27          0 テスト4
006       7890         27         27          0 テスト6

Comments

[710LOVER]

夜分遅くに回答ありがとうございます！
実データで試してうまくいきました！

Answer 2

連想配列を使えるスクリプト言語を使うのが手っ取り早いと思います。
まあ、データが少ないならこんな方法でどうでしょうか?

#!/bin/ksh

dst=/hoge/test/dst
TXT=/hoge/test/test_checked.txt

rm -f $dst/*
rm -f $TXT

cnt1=`cat $1 | wc -l`

cat $1 | \
while read line
do
  a=`echo $line | cut -f 3`
  b=`echo $line | cut -f 4`
  c=`echo $line | cut -f 5`
  echo $line >>"$dst/${a}-${b}-${c}"
done

cnt2=`ls -1 $dst`

if [ $cnt1 -eq $cnt2 ]
then
  echo "重複はありませんでした。"
else
  echo "重複がありました。"
  ls -1 $dst | \
  while read f
  do
    n=`cat "$dst/$f" | wc -l`
    if [ $n -gt 1 ]
    then
      cat "$dst/$f" >>$TXT
    fi
  done
fi

Comments

[710LOVER]

夜分に回答ありがとうございます！
やはり連想配列が使いこなせるとつよいですね…
連想配列の活用の仕方とても参考になりました！

Answer 3

連想配列を利用すれば、awkだけでできそうな気がしますね。

# test.awk
{
    n[$3,$4,$5]++
    t[$3,$4,$5,n[$3,$4,$5]]=$0
}
END{
    for(i in n){
        if(n[i]>1){
            for(j=1; j<=n[i]; j++){
                print t[i,j]
            }
        }
    }
}

$ awk -f test.awk test.txt

Comments

[710LOVER]

夜分遅くに回答ありがとうございます！
実データでも確認取れました！
ENDブロック初めて見ました、とても参考になります。