1秒ごとに出力される数値のデータから３００秒毎の平均を計算してファイルに出力したい。

Question

こんにちは

１秒毎の大量データから移動平均を取るのにどうしたらいいのか腐心しております。
下記のようにA列に時刻、B列に１秒毎に計測した数値を取る場合を想定しております。
下記は元データのtxtファイルです。A列とB列の間はスペースのみで空欄はないものと想定します。

A列                   B列

2017/07/07 10:00:01 50
2017/07/07 10:00:02 31
2017/07/07 10:00:03 21
2017/07/07 10:00:04 78
2017/07/07 10:00:05 90

上記のように１行ごとに１つのデータを取得するので５分毎に平均を取りたいです。

具体的には下記のようなデータに変換したいと思っています。
A列５分毎の時刻、B列に過去300秒（つまり５分毎）の平均が出力されるようにしたいのです。

A列 B列
2017/07/07 10:05:00 31
2017/07/07 10:10:00 21
2017/07/07 10:15:00 78
2017/07/07 10:20:00 90

元データは１ヶ月分つまり約2592000秒分のデータがあるので上記のように５分毎の
平均を取りたいと思っています。

A列もB列も加工しなければならないと思いますが、考えてみましたがだめでした。
OSはLINUX（CENTOS7)です。何かいい方法はありませんでしょうか？

よろしくお願いいたします

Answer 1

データが 10:00:01 から始まって毎秒まったく抜けがないのであれば、300行ごとに集計してやればいいので、

LINES=0
DATA=0
while read DATE TIME COUNT
do
  LINES=$(( LINES + 1 ))
  DATA=$(( DATA + COUNT ))
  if [ $LINES eq 300];
  then
    AVERAGE=$(( DATA / 300 ))
    echo $DATE $OLDTIME $AVERAGE
    LINES=0
    DATA=0
  fi
  OLDTIME=$TIME
done < data.txt

でよさそうな気はします。

が、実際にはデータが必ず ??:00:01 から始まるわけではないでしょうから、もう少し考える必要はあるでしょうね。
読み込んだ行の TIME が、正規表現で \d\d:\d[50]:00 である行だった場合に集計処理する、という形になるのかな。

Comments

[dame-dame]

おお、ありあがとうございます。eq は-eqにしたらエラーがとまりました。これそのまま使わせていただきます。　何時もありがとうございます！

[tacsheaven]

上のままだと最後に300行に満たなかった部分は集計結果が出ませんので、多少修正が必要になると思います。まあそういう状態は考えなくていいならよいのですが。
※while ループを抜けたときに、LINES が 0 でないなら、未集計分が残っています

[dame-dame]

ありがとうございます！今後共よろしくお願いいたします