python:logファイルの成形方法について

Question

質問

以下のようなlogファイルの整形をpandasで整形したいのですが、どこから手を付けてよいかがわからず、、
ご知見あればご教授いただけると幸いです。　

やりたいこと

①のように別フォルダに格納された同名のファイルを②のようなテーブルにpythonで整形したい

log in
cd /path/to/data1
$ ls -l
drwxr-xr-x 1 testuser testuser 16384 Dec 06 00:11 XXX
drwxr-xr-x 1 testuser testuser 12288 Dec 06 00:11 YYY
cd /path/to/data2
$ ls -l
drwxr-xr-x 1 testuser testuser 16384 Dec 06 00:22 XXX
drwxr-xr-x 1 testuser testuser 12288 Dec 06 00:22 YYY
cd /path/to/data3
$ ls -l
drwxr-xr-x 1 testuser testuser 16384 Dec 06 00:33 XXX
drwxr-xr-x 1 testuser testuser 12288 Dec 06 00:33 YYY
・・・
log out

data1 Dec 06 00:11 XXX 
data1 Dec 06 00:11 YYY 
data2 Dec 06 00:22 XXX 
data2 Dec 06 00:22 YYY
data3 Dec 06 00:33 XXX 
data3 Dec 06 00:33 YYY 

試したこと

ファイル部分だけをdataframeに入れる所までは行けるのですが、そこからファイルパスと紐付ける部分が良いアイデアがなく。。

df = pd.read_csv(r'C:\Users\<username>\Desktop\git\backup.log',names=["backup"] )
df = df[~df["backup"].str.startswith("$") & ~df["backup"].str.startswith("cd")]
df = df["backup"].str.split(" ", expand=True)
# login/logout行を削除
df=df[1:-1]

Comments

[TakaiY]

そもそもpandasでやるのは難しい内容だと思いますが、pandasでやらなければならない理由は何でしょう？

あと、ログはもうすでに取得済みのものでしょうか？
取得したデータを利用したいのであれば、もっと良い出力を得る方法があると思いますけど。

[Masa_Nakamu]

ご連絡をありがとうございます！　ログデータは取得済みのデータとなります。
pandasに特にこだわりは無いのですが、python初学者の為、比較的使ったことのあるライブラリで実施しようとしていました。。　おすすめの方法等ありましたらご教授いただけると幸いです。

Answer 1

pandasを使わない方法です。
ログファイルの内容がすべて同じ形式であるとした場合です

1. ファイルを開けて1行ずつ読み込む
2. 行頭が「cd」であれば、続くパスの最後の文字=ファイル名をディレクトリ名として保存する
3. 行がファイルを示していれば、最後の4カラムを取得して、 ディレクトリ名と合せて出力もしくは保存する。

ポイントは、行が下のようにファイルを示しているかどうかの判定ですが、

drwxr-xr-x 1 testuser testuser 16384 Dec 06 00:11 XXX

決め手がないので、カラムが9個だった場合とでもしましょうか。
この判定や、行頭のcdの判定・最後の4カラムの取得などにも使えるので、読み込んだ行はスペースで区切ってリストにしておくのがよさそうですね。

Comments

[Masa_Nakamu]

ありがとうございます！上記方針でトライしてみます！

Answer 2

ファイル部分だけをdataframeに入れる所までは行けるのですが、そこからファイルパスと紐付ける部分がアイデアがなく。。
df = pd.read_csv(r'C:\Users<username>\Desktop\git\backup.log',names=["backup"] )
df = df[~df["backup"].str.startswith("$") & ~df["backup"].str.startswith("cd")]