複数行あるlogファイルの内容から、ある一定のパラメータに属する引数が、「○○」の行のタイムスタンプのみを抽出したい

Question

以下複数行あるlogファイルの内容から、python3を使用して、ある一定のパラメータに属する引数が、「○○」の行のタイムスタンプのみを抽出したいのですが、こちらどのような方法があるか教えて頂けないでしょうか。

2018-10-15 05:41:52+0000 10_90_27_126  pycre5 on0000 9900008015918 INFO: redirect: redirect.jsp?prod=KRGJxxxx&prod=PRGJYW0052&num=9&cust=22
2018-10-15 06:41:52+0000 10_90_27_126  pycre5 on0000 9900008015918 INFO: redirect: redirect.jsp?prod=KRGJxxxx&prod=PRGJYW0052&num=9&cust=11
2018-10-15 07:01:52+0000 10_90_27_126  pycre5 on0000 9900008015918 INFO: redirect: redirect.jsp?prod=KRGJxxxx&prod=PRGJYW0052&num=9&cust=22
・・・
・・・
・・・
・・・

Comments

[jun68ykt]

ご質問の主旨を確認させてください。”ある一定のパラメータに属する引数が、「○○」の行”　とは、たとえば、 「cust=22の行」あるいは「prod=KRGJxxxxの行」といったように、行の末尾にある URLの一部と思われる文字列のクエリパラメータの値が、何らか指定の値である○○に該当する行と解釈してよいでしょうか？

[退会済みユーザー]

はい、そうです。宜しくお願い致します。

[jun68ykt]

ご返信ありがとうございます。すみませんが、もう１点だけ確認ですが、 「python3を使用して」というのは必須なのでしょうか？ というのは、ぱっと見、よく使うシェルコマンドの組み合わせ（grep、 egrep , cut , awk など）でいけるのでは? と思いましたので。pythonでコード書かなくてもシェルスクリプトだけでいければそれも回答としてOKでしょうか？

[退会済みユーザー]

すみません。こちらpython3を使用しての記述方法を知りたいです。

[jun68ykt]

ご返信ありがとうございます。了解しました。

[jun68ykt]

URLのクエリパラメータのパースを自作せずに、そのためのパッケージを使うtiitoi さんのご回答がスマートだと思いました。

[退会済みユーザー]

以下の場合、list index out of rangeエラーが出た場合は、if文などで対応する必要があるのでしょうか。

Answer 1

まずログの各行を解析してあげましょう。

クエリの解析は以下の手順でできます。

1. parsed_url = parse.urlparse(url_txt) で URL の解析
2. parse.parse_qs(parsed_url.query) でクエリ部分の解析

from datetime import datetime as dt
from urllib import parse

# ファイルを読み込む。
with open('log.txt', newline='') as f:
    log = f.read().splitlines() 
print(log)

# ログを整形する。
def sanitize(line):
    cols = line.split()
    # 日付部分を datetime にする。
    datetime_txt = ' '.join(cols[:2])
    datetime = dt.strptime(datetime_txt, '%Y-%m-%d %H:%M:%S%z')
    # URL部分を解析する。
    url_txt = cols[8]
    parsed_url = parse.urlparse(url_txt)
    params = parse.parse_qs(parsed_url.query)

    return {'datetime': datetime, 'params': params}

parsed_log = [sanitize(l) for l in log]
from pprint import pprint
pprint(parsed_log)

[{'datetime': datetime.datetime(2018, 10, 15, 5, 41, 52, tzinfo=datetime.timezone.utc),
  'params': {'cust': ['22'], 'num': ['9'], 'prod': ['KRGJxxxx', 'PRGJYW0052']}},
 {'datetime': datetime.datetime(2018, 10, 15, 6, 41, 52, tzinfo=datetime.timezone.utc),
  'params': {'cust': ['11'], 'num': ['9'], 'prod': ['KRGJxxxx', 'PRGJYW0052']}},
 {'datetime': datetime.datetime(2018, 10, 15, 7, 1, 52, tzinfo=datetime.timezone.utc),
  'params': {'cust': ['22'], 'num': ['9'], 'prod': ['KRGJxxxx', 'PRGJYW0052']}}]

あとは、指定した引数が存在し、かつそれがある値である要素だけ抜き出せばよいです。

for l in parsed_log:
    # パラメータ 'cust' が存在し、かつその値が 11 の場合
    if 'cust' in l['params'] and l['params']['cust'] == ['11']:
        print(l['datetime'])

2018-10-15 06:41:52+00:00

Comments

[退会済みユーザー]

こちら解決しました。有難うございました。

[退会済みユーザー]

すみません。もう１つだけ教えてほしのですが、こちら以下は8列目にurlがある前提だと思いますが、9列目、10列目にもある行がある場合は、どのような記載をすればよろしいでしょうか。
何度も申し訳ございませんが、宜しくお願い致します。

[退会済みユーザー]

url_txt = cols[8]

[tiitoi]

9列目、10列目にもなんらかの値が入っているということでしょうか？
上のサンプルコードでは動きませんか？
line.split() で各行をスペースで分割しているので、cols のインデックスを調整すればなんとかならないでしょうか？

[退会済みユーザー]

解決できました。
ご丁寧にありがとうございます。

Answer 2

とりあえずpandas を使うとよいのではないでしょうかね。

https://pandas.pydata.org/

以下は超適当なサンプル

import pandas as pd
# LOGデータを読み込む
# - File名は 'log.txt'
# - Header行なし
# - 区切文字 ' ' によって列を別ける（区切文字の後のスペースは無視）
# - 0列目と1列目はまとめてDatetime型のデータとして扱う
df = pd.read_csv('log.txt', header=None, sep=' ', skipinitialspace=True, parse_dates=[[0,1],])

# カラム名を設定（datetime以外は適当）
df.columns = ['datetime', 'A','B','C','D','E','F','G']

# とりあえずデータを表示
print(df)

# 'A' 列のデータが '10_90_24_126' の行の 'datetime' 列 を表示
print(df.loc[df['A'] == '10_90_27_126', 'datetime'])
#0   2018-10-15 05:41:52
#1   2018-10-15 06:41:52
#2   2018-10-15 07:01:52