tail -f で1秒ごとのアクセス件数をリアルタイムで表示したい。

Question

前提・実現したいこと

Linuxでaccess_logの秒間の件数をリアルタイムで表示させたい。

発生している問題

Linuxでaccess_logに記録されているアクセスを、1秒ごとで集計してリアルタイムで件数を表示させたいのですが、うまくいきません。
以下のコマンドを実行すると、コマンド自体は実行されるものの何も出力されません。

# ログフォーマットは↓こんな感じです。
# XX.XX.XX.XX - - [17/Oct/2018:18:17:47 +0900] "GET / HTTP/1.1" 302 207

# 実行コマンド
tail -f access_log | awk '{print $4}' | sort | uniq -c   

# 期待する出力例（1秒ごとに件数を表示）
50 [17/Oct/2018:18:17:47 +0900]
30 [17/Oct/2018:18:17:48 +0900]
45 [17/Oct/2018:18:17:49 +0900]

期待する出力のように表示するには、どのようにすればいいでしょうか。

Comments

[wwbQzhMkhhgEmhU]

awkだけなら-W interactiveだけでいいけど、sortするには全量読み込まないといけないから無理

Answer 1

sortというのは、入力された物を並べ替える処理ですよ。入力が続いている間はソートできませんので、ずっと待ちになります。

tail -f access_log |
awk '$4" "$5 != last{print count, last;last=$4" "$5;count=1;next}{count++}'

でしょうか。

Comments

[退会済みユーザー]

sortの理解不足でした。ご教示いただきありがとうございます。

Answer 2

tail -f access_log | awk '{print $4}' | sort

二番目のawkコマンドが3つ目のsortコマンドが手前のtailコマンドが終了するのを待ち続ける一方、tailコマンドは-fオプションにより入力を待ち続けるため、何も表示されない結果となっています。

基本的にtail -fはパイプを使って次につなげることはできないとお考え下さい。
これも少し違いました。EOFを待つタイプのコマンドと、tail -fとの併用は厳しい、と言う方が正確でした。

Comments

[set0gut1]

awk までで止めると1行ごとに出力されるのですが、次段の sort が EOF が来るまで待機する感じですね。

[kazto]

ご指摘ありがとうございます。訂正しました。

[set0gut1]

:+1:

Answer 3

tail -f では指定したファイルを定期的に読み出すだけなので、集計できていません(awkにデータを渡せない)。

「集計コマンドを標準出力に」
した後で、1秒ごとに実行する
様にする必要があります。

例えば、処理時間自体がそれほど掛からないのであれば、

while true; do [集計処理]; sleep 1s; done

とかでしょうか。ただし、tail -f の様に最後の結果だけを表示というのはなかなか難しいです。以下の様にすることで全画面書き換えるため、それっぽく見せることはできるかもしれません。

watch -n 1 [集計処理]