質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.35%

  • Linux

    2696questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

タイムスタンプがUTCのログファイルから指定期間のログを取得する方法について

解決済

回答 2

投稿 2017/12/06 20:32 ・編集 2017/12/07 13:28

  • 評価
  • クリップ 0
  • VIEW 54

teketeke

score 39

前提・実現したいこと

AWS上にAmazonLinuxで作成したサーバがあります。
このサーバのmaillogから指定期間(たとえば24時間分)のログを取得しようとしています。

以下の問題が出ておりますが、スクリプトでログの取得ができないでしょうか。

発生している問題・エラーメッセージ

■問題
1.ログの時刻はJSTではない
確認したところログの時刻がUTCになっているようで、9時間時刻がずれていました。
その為、「grep Dec 6」としても、欲しい期間のログが取れていませんでした。
※dateコマンドでは日本の時刻になっておりました。
なお、時刻修正の為のサーバ再起動はできない縛りがあります。

2.ログファイルがローテーションされる
1週間毎にローテーションされるので、取得したい期間によっては2ファイルとかにわかれてしまう。

該当のソースコード

grep "Dec  5" /var/log/maillog > /tmp/maillog1
grep "Dec  6" /var/log/maillog > /tmp/maillog2

■追記1、頂いた回答などを参考に自分なりにスクリプトを作ってみました。

#!/bin/bash

file_path="/tmp/test-maillog1.txt"

#ファイルがあれば削除
if [ -e ${file_path} ]; then
    rm -f ${file_path}
fi

#引数なければエラー
if [ "$1" = "" ]
then
    echo "no argument"
    exit 1
fi

  start=${1}
  end=0
  while [[ $start -ge $end ]]; do

    if [ $start -eq 0 ]; then
      grep "`LANG=C date -u  +"%c" | sed -e 's/^....//g' | sed -e 's/[0-9][0-9][0-9][0-9]//g' | sed -e 's/:[0-9][0-9]:[0-9][0-9] //g'`" /var/log/maillog* >> ${file_path}
      break
    else
      dateform=`LANG=C date -u -d "${start} hours ago" +"%c"`
      grep "`LANG=C date -u -d "${start} hours ago" +"%c" | sed -e 's/^....//g' | sed -e 's/[0-9][0-9][0-9][0-9]//g' | sed -e 's/:[0-9][0-9]:[0-9][0-9] //g'`" /var/log/maillog* >> ${file_path}
    fi
    start=$(($start-1))
  done

試したこと

今のところは「grep Dec 5」「grep Dec 6」の結果のmaillogをローカルに持ってきて、取得期間から開始と終了の時間のログまでを手動で切りとっています。

■追記1
スクリプトを作成してみましたが、これだとファイルにまたがっていてもログが取れるのですが、先頭に「/var/log/maillog:」が付きます。

/var/log/maillog:Dec  7 03:54:13 ip-xx-xx-xx-xx postfix/qmgr[12345]: xxxxxxxxx: removed


ログファイル名は「maillog」「maillog-20171203」のようになっているのですが、削除しようとしてsedの正規表現で引っかけて削除しようとしましたが、削除できませんでした。

cat /tmp/test-maillog1.txt | sed -e 's/\/var\/log\/maillog(-[0-9]{8})://'
cat /tmp/test-maillog1.txt | sed -e 's/\/var\/log\/maillog\(-[0-9]{8}\)://'
cat /tmp/test-maillog1.txt | sed -e 's/\/var\/log\/maillog\(-\[0-9\]\{8\}\)://'


どのようにすれば先頭の「/var/log/maillog:」、「/var/log/maillog-yyyymmdd:」の文字列を削除できるでしょうか。

■追記2
grep の部分で-hを付けることで先頭の「/var/log/maillog:」、「/var/log/maillog-yyyymmdd:」の文字列が出力されなくなりました。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • CHERRY

    2017/12/06 21:09 編集

    この質問の内容だと丸投げと言われますから、手動で処理している内容を自分でスクリプトに書いてみて、「ここまで書いたけど ここの部分がわからない」という感じで投稿する方が回答がつきやすいと思います。

    キャンセル

回答 2

checkベストアンサー

0

ぱっと思いつくところで、こんな感じでどうでしょうか? 動作確認とかしていませんが。

$ egrep "^Dec  5 (1[5-9]|2[0-3)" /var/log/maillog.1 /var/log/maillog > tmp/maillog
$ egrep "^Dec  6 (0?|1[0-4])"  /var/log/maillog.1 /var/log/maillog >> tmp/maillog

dateコマンドが日本語とかJSTなのは、こんな感じで回避できるのでは:

$ LANG=C date -u

投稿 2017/12/06 22:10

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/07 13:21

    回答頂きありがとうございます。
    頂いた内容を参考に指定期間のログが出せるようになりました。

    自分の方で複数ファイルにまたがった場合を考えてスクリプトを作成してみたのですが、ログの先頭に「/var/log/maillog:」などが付いてしまいます。
    もしよろしければこちらについても何か分かりましたらご回答いただけると助かります。

    キャンセル

  • 2017/12/07 13:27

    上記の件、grep -h としたところ「/var/log/maillog:」が付かなくなりました。失礼いたしました。

    キャンセル

0

スクリプトを組んでもよいですが、楽をされるのであれば Fluentd などを使用されることも検討できるかと思います。

Fluentd | Open Source Data Collector | Unified Logging Layer
https://www.fluentd.org

投稿 2017/12/06 22:04

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/07 19:40

    ご回答いただきありがとうございます。
    Fluentd についてはあまり詳しくない為、今回は一旦スクリプトで対応致します。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.35%

関連した質問

  • 解決済

    Bashでファイルをある条件で抽出したい

    実現したいこと Bashでファイルの更新日時から月と日付を見て、ファイルのパスまたはファイル名を抽出したい。 具体的な条件は 5日前のファイルかつ、各月の一番降順のものを

  • 解決済

    linux シェルスクリプトでファイルに書き込みを行いたい

    centos7を利用しています。 vimコマンドで行うような あるファイルへの書き込みと保存をシェルスクリプトで行いたいです。 どのようにすれば実装できるか教えて下さ

  • 受付中

    JavaScript 連想配列 一部加算

    以下のような連想配列がありますが、date とidが同じ個所のhours を加算するにはどう記述しればいいでしょう。ご教示お願いします。 var data ={

  • 解決済

    シェル実行時 path 引数

    find . $(sed 's/^\(.*\)$/-path \1 -prune -or /' < /tmp/list.txt) -true -ls 上のコマンドを現在シェルで実

  • 解決済

    find 指定したディレクトリ除いて表示

    find /aaa/bbb/ccc |grep -v -f test.txt test.txt 内容↓ 45683 2016-01-01 13:30 /aaa/bbb/cc

  • 解決済

    sedコマンドの処理方法

    ファイルから小数点(.)を含む数値を取り出したいと考えております。 test.logというファイルのIDの値のみを取り出したいです。 name A birt 1990/1

  • 解決済

    sedコマンドでテキスト削除

    Apacheのログファイルからエラーログを抽出して本日以外の行を削除しようとしています。 でも、どうすれば良いのか分からず前日でも消えればと思い試行錯誤していました。 [09/

  • 解決済

    アクセスログの監視スクリプトを作成したいのですが。。。

    毎時1分に動くジョブで特定のサーバにアクセスがあった場合にapacheのアクセスログから拾いメールを発報する監視スクリプトをシェルで作成したいのですが行き詰っています。 以下の3

同じタグがついた質問を見る

  • Linux

    2696questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。