重複行の抽出と削除方法

Question

日次でアクセスを集計し、以下のようにタブ区切りでtsvファイルに出力するスクリプトをbashで作っています。
下記のように取得を失敗した際に再実行し日付が重複した場合、収集失敗と出力されている行を削除して上書きする機能を追加したいのですが
どのような方法が有りますでしょうか？
sedやuniqを使えば良いのかとは思うのですがどうやって日付部分のみで列を抽出し削除すれば良いのかが分かりません

test.tsv
日付	リクエスト数	最大QPS
2017-06-01	1332	2
2017-06-02	1332	2
2017-06-03	1328	1
2017-06-04	収集失敗
2017-06-04	1321	1
2017-06-05	1369	2
2017-06-06	1320	1
2017-06-06	収集失敗
2017-06-06	1320	1
2017-06-07	1369	2
2017-06-08	1374	2
2017-06-09	1319	1
2017-06-10	1346	2

Answer 1

ご期待と違うと思いますがご参考として（運用ログ用かな）
後に上がって来るものが同日であれば上書き（スキップ）するにしております。
1Mファイルは厳しいかもしれません。

#!/bin/sh
cat <<EOF >test.tsv
日付    リクエスト数    最大QPS
2017-06-01      1332    2
2017-06-02      1332    2
2017-06-03      1328    1
2017-06-04      収集失敗
2017-06-04      1321    1
2017-06-05      1369    2
2017-06-06      1320    1
2017-06-06      収集失敗
2017-06-06      1320    1
2017-06-07      1369    2
2017-06-08      1374    2
2017-06-09      1319    1
2017-06-10      1346    2
2017-06-11      収集失敗
2017-06-12      1346    2
EOF


TB=$'\t'
while read -a ar
do
  if [ "${ar[1]}" == "収集失敗" ]; then
     bf=("${ar[@]}")
     continue
  fi
  if [ ! -z "${bf[0]}" ]; then
     if [ "${ar[0]}" != "${bf[0]}" ]; then
        echo ${bf[0]} "$TB" ${bf[1]}
     fi
  fi
  echo ${ar[0]} "$TB" ${ar[1]} "$TB" ${ar[2]}
  bf=()
done<test.tsv
if [ ! -z "${bf[0]}" ]; then
    echo ${bf[0]} "$TB" ${bf[1]}
fi

Answer 2

uniq -w で文字数が指定出来ます。
複数件あった時に、最後の行を取るのだとすると、

tac test.tsv |
uniq -w 10 |
tac

ですかね。

Answer 3

あまり難しく考えず、行単位で必要か不必要かで考えてます。
uniqを初めて使ったので正しくないかもしれませんが、
ローカル環境では確認できました。

cat test.tsv | grep -v 収集失敗 | uniq > test.tsv

grepのvオプションは任意の文字列を含む行を対象外にします。
最初にcatをかませるのは、同じファイルをgrepしてリダイレクトするとダメっぽいからです。

Comments

[otn]

これは、パイプバッファ（＋catのバッファ)を超えるサイズのファイルだと駄目ですね。上書きされます。
パイプバッファを超えないサイズでもタイミングによっては駄目だと思います。

[szk.]

ご指摘ありがとうございます。
パイプバッファ超えるとダメですね。
環境依存だと思いますが、試した感じ1Mくらいのファイルでダメでした。
ただ何日分が対象になるかで問題ないこともあるかと思います。
タイミングによると言われると
ファイルなりコマンドを分けてもらうのが得策になるかと思っています。

Answer 4

$ sed -ie "/収集失敗/d" test.tsv

ただ、2017-06-06は収集失敗でない行が2つあるようで、そこは残ってしまいますが。