UTC→JSTに読み替えて集計

Question

UTC時刻で出力されているアクセスログをJSTに読み替えて集計したいのですが、いい方法なないでしょうか。

以下のようなファイルが出力されるので、先頭の（20200501）が日付でファイル名で集計してました。
20200501T000000.000-WstSAefuOVd4ZYO34n94.log.gz
20200531T230000.000-WstSAefuOVd4ZYO34n94.log.gz

#!/bin/sh

#################################################
##File list with 50 or more access to / xyz / std ${YEAR}
#################################################

YEAR=$(date "+%Y")
MM=$1
SECONDS=0
LOGFILE="/tmp/js_`date +%Y%m%d_%H%M%S`.log"

exec > "${LOGFILE}"
exec 2>&1

if [ "$#" -ne 1 ]; then
        echo "Argument error!"
        exit 1
elif [[ ! "$MM" =~ [0-1][0-9] ]]; then
        echo "Argument error!"
        echo "Enter the  month!"
        exit 1
fi

test -f ${YEAR}-${MM}-${i}.json && echo "already exists ${YEAR}-${MM}-${i}.json"  && exit 1

for i in 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
do
zcat "${YEAR}${MM}${i}"*.log.gz | awk -F \" '{print $8}' |
grep -E "/xyz/std/[0-9]*/[0-9]*/[0-9]*.png$" |
cut -d "?" -f 1 |cut -d "%" -f 1 |cut -d "#" -f 1 |
sort |uniq -c |awk '$1 >= 50 {print $2","$1}' > ${YEAR}-${MM}-${i}.json

sed -i -e "s/^/[\"/g" ${YEAR}-${MM}-${i}.json
sed -i -e "s/.png/.png\"/g" ${YEAR}-${MM}-${i}.json
sed -i -e "s/$/],/g" ${YEAR}-${MM}-${i}.json
sed -i -e "1i {addressPoints:[" ${YEAR}-${MM}-${i}.json
sed -i -e "$ s/],/]]}/g" ${YEAR}-${MM}-${i}.json
done

echo "[INFO] Script time is ${SECONDS}sec."

Comments

[otn]

どの単位での集計でしょうか？1時間？1日？

[ike_snj]

1日です。

Answer 1

どの単位での集計でしょうか？1時間？1日？

1日です。

日付と時刻をそれぞれ認識した後で、15時以降だと翌日にカウントすれば良いです。

#追記
なんと、日ごとにファイルが分かれているんですね。
前日ファイルの15時以降と、当日ファイルの15時以前を処理するようにします。

前略
for i in 01 02 中略 30 31
do
YESTERDAY=`date +%Y%m%d -d "$YY-$MM-$i - 1day"`
( zcat $YESTERDAY*.log.gz | awk '$3 >= 15';
  zcat $YY$MM$i*.log.gz | awk '$3 < 15' ) | awk -F \" '{print $8}' |
後略

なお、for i in 01 02 ・・・ 31はBashならfor i in {01..31}と書けます。
また、小の月なら31日分が存在しないのでエラーで止まりますよね？不都合ないのなら良いですが。
他にも改善できるところはあります。

Comments

[ike_snj]

それをシェルでやろうとしてるので、その集計方法を知りたいです。

[otn]

UTC基準での集計は出来ていると言うことだと思うので、そのコードを質問に追記してください。
それへの修正で書きます。

Answer 2

えっと、GNUのdateコマンドで変換はできるので、あとはperlでやればいいかと。タイムゾーン設定がJSTになっていることが条件です。

1. 切り出した日時文字列に" UTC"を追加してdateコマンドでunix timeに変換

hoge=$(date -d "2020-04-30 14:52:54 UTC" +%s)

1. 得られたunix timeから現在のタイムゾーン(JST)に変換

date -d @$hoge "+%Y-%m-%d %H:%M:%S"

Comments

[ike_snj]

ありがとうございます。
例えばどういったperlコードを書いたらいいでしょうか。

Answer 3

９時間加えればJSTになりますよ

Answer 4

Excelを用いて+9:00計算で集計するでは駄目ですか?

Comments

[ike_snj]

以下フォーマットのログが1ヶ月３００GB程度あり、これをJSTに読み替えて、日毎のリファラー別、アクセス先ファイル等を集計が必要で、bashシェルやperlでやろうとしてますが、いい方法がみつからずないかという質問でした。
222.222.22.2 2020-04-30 14:52:54 "GET /9/459/194.png HTTP/1.1" 200 "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0" "https://xx.jp/" "/xyz/xyz/194.png?_=20200402a"

[over]

OSのタイムゾーンを変更するのも不可である場合はスクリプトで対応するしかないですね。
スクリプトにおけるUTC→JST変換のアルゴリズムをお尋ねされています?

[ike_snj]

そうです。日別に出したいので、例えば”2020-04-30 15:00:54”の行のログは5月1日分で集計するといった方法がありますか。
CDN

[over]

どこで区切るかですが、「0:00」がスタートだとした場合、UTC時刻に+9:00を行った際、「23:59:59」を超えたら翌日カウントで良いのでは?

[ike_snj]

はいその場合、翌日カウントでいいです。
上記の例はそういう意味でした。