apacheのログの中身の重複行の数字を足したい

Question

apacheのログ解析を行っています。

ログローテートの関係でAM4:00台の行が二つできてしまいます。
28/Mar/2016:00 50123
28/Mar/2016:01 50184
28/Mar/2016:02 44923
28/Mar/2016:03 39121
28/Mar/2016:04 1298
28/Mar/2016:04 94018
28/Mar/2016:05 52432
28/Mar/2016:06 41654

左が日時で右がアクセス数となっております
28/Mar/2016:04のアクセス数をたして
28/Mar/2016:00 50123
28/Mar/2016:01 50184
28/Mar/2016:02 44923
28/Mar/2016:03 39121
28/Mar/2016:04 95316
28/Mar/2016:05 52432
28/Mar/2016:06 41654

という結果にbashでしたいのですがどのようにすればよろしいでしょうか？

Answer 1

あえて bash だけで書いてみました。(多分 私なら、ruby で書いてしまう)
1.sh

#!/bin/bash
time="x"
total=0

# ログファイルの最終行を出力できるようにするためにダミー行を追加して、処理する
tmp_txt="/tmp/tmp.txt"
echo "x 0" > $tmp_txt

cat $1 $tmp_txt| while read line; do
    z=$line
    set -- $line
    if [ $1 != $time ]
    then
      if [ "x" != $time ]
      then
        echo $time $total
      fi
      time=$1
      total=$2
    else
      total=$(($total + $2))
    fi
done

実行例

$ cat 1.txt
28/Mar/2016:00 50123
28/Mar/2016:01 50184
28/Mar/2016:02 44923
28/Mar/2016:03 39121
28/Mar/2016:04 1298
28/Mar/2016:04 94018
28/Mar/2016:05 52432
28/Mar/2016:06 41654

katoy-MacBook-Pro:tmp katoy$ ./1.sh 1.txt 
28/Mar/2016:00 50123
28/Mar/2016:01 50184
28/Mar/2016:02 44923
28/Mar/2016:03 39121
28/Mar/2016:04 95316
28/Mar/2016:05 52432
28/Mar/2016:06 41654

katoy-MacBook-Pro:tmp katoy$ ./1.sh 1.txt > 2.txt
katoy-MacBook-Pro:tmp katoy$ diff 1.txt 2.txt
5,6c5
< 28/Mar/2016:04 1298
< 28/Mar/2016:04 94018
---
> 28/Mar/2016:04 95316

Answer 2

いろいろやり方はあると思いますが、awk を使う例。

awk '{if(NR==1){date=$1; num=$2} else{if(date==$1){num+=$2} else{print date,num; date=$1; num=$2} } } END{print date,num}' ファイル

Comments

[DaichiYasuda]

何度も申し訳ありません
31/Mar/2016:04 36357
31/Mar/2016:05 44344
31/Mar/2016:06 43214
31/Mar/2016:07 40015
31/Mar/2016:08 35528
31/Mar/2016:09 66583
31/Mar/2016:10 75756
31/Mar/2016:11 68177
31/Mar/2016:12 78140
31/Mar/2016:13 71840
31/Mar/2016:14 76807
31/Mar/2016:15 76619
31/Mar/2016:16 74669
31/Mar/2016:17 74588
31/Mar/2016:18 79683
31/Mar/2016:19 80130
31/Mar/2016:20 84899
31/Mar/2016:21 80409
31/Mar/2016:22 68523
31/Mar/2016:23 55679
01/Apr/2016:00 42600
01/Apr/2016:01 48963
01/Apr/2016:02 46714
01/Apr/2016:03 38397
01/Apr/2016:04 1399

awkについて全然わかってないので上のファイルも同じように処理させたいのですが
やり方がよくわかりませんので、教えていただいてもよろしいでしょうか？

あと参考になるサイトなどありましたら教えていただきたいです

[yourill]

TaichiYanagiyaさんのawkの処理を簡単に説明しますと、

読み込んだデータをもとに、

if(NR==1){date=$1; num=$2}
1行目なら変数"date"に1カラム目（日時）を変数"num"に2カラム目（件数）をセットする

else{if(date==$1){num+=$2} else{print date,num; date=$1; num=$2} }
2行目以降は1カラム目（日時）と変数"date"（1行前の日時）を比較して、
・日時が一致する場合は、変数"num"に2カラム目（件数）の値を足す
・日時が一致しない場合は、現在の変数"date"（日時）と変数"num"（同じ日時の件数の合計値）を表示する
　変数"date"に1カラム目（日時）を新たにセット（ここで次の時間に移る）
　変数"num"に2カラム目（件数）を新たにセット（ここで次の時間の件数をセット）
　そのまま最終行まで同じことを繰り返す。

END{print date,num}'
ただ最終行は変数"date"（日時）と変数"num"（件数）に値をセットしただけで終わっているので、最後にセットされている値を表示する

という動作になります。

処理としては1カラム目が一致する場合に2カラム目を合算して結果を表示するというものです。
ですので、後から追加されたデータでも同じ方法で利用できます。
ただ、後から追加されたデータは日時で重複している部分がないので、結果は変わらないと思います。

[TaichiYanagiya]

yourill さん、補足説明ありがとうございます。