シェルスクリプトにて、ログから特定の結果を抽出したい

Question

前提

シェルスクリプトにて、ログから条件に一致する結果を抽出したいです。
ログの出力結果は変更できない状態です。

出力されるログの内容

test.log

INFO - 2022-11-01 09:21:55 ～～～～～
WARNING - 2022-11-01 09:21:51 エラーAAA Array
(
    [aaa] => 101
    [bbb] => にんじん
    [ccc] => 設定が不足しています。  設定値：10
)
WARNING - 2022-11-01 09:21:53 エラーAAA Array
(
    [aaa] => 101
    [bbb] => たまねぎ
    [ccc] => 設定が不足しています。  設定値：11
)
WARNING - 2022-11-01 09:21:54 エラーAAA Array
(
    [aaa] => 101
    [bbb] => かぼちゃ
    [ccc] => 設定が不足しています。  設定値：11
)
INFO - 2022-11-01 09:21:55 ～～～～～
INFO - 2022-11-01 09:21:56 ～～～～～
WARNING - 2022-11-01 09:22:54 エラーBBB Array
(
    [aaa] => 222
    [bbb] => かぼちゃ
    [ccc] => これはエラーBBB
)

抽出条件

エラーAAA で aaa の内容とcccの内容のみ抽出しようとしています。
さらにaaa+cccの内容で重複排除しようとしています。

希望する結果

上記ログの場合は、下記のような出力をしたいです。
[aaa] => 101
[ccc] => 設定が不足しています。 設定値：10
[aaa] => 101
[ccc] => 設定が不足しています。 設定値：11

grepの正規表現でINFO部分や他のAAA以外のエラーを排除することはできたのですが、
重複排除の方法が思い浮かばず、進めなくなってしまいました。
grep -A 5 -E ^WARNING.*エラーAAA test.log

grepにてどうにかできないか考えていますが、
他の方法が浮かばないだけで、特にコマンドにこだわりはありません。

Comments

[poto568]

sedで[aaa]項の末尾改行除去してsortしてuniqとかでできませんかね
([aaa]項のうしろに改行がほしければさらにsedに突っ込むとか…)

Answer 1

こんな感じではどうでしょう。

cat test.log |
grep -A 5 -E '^WARNING.*エラーAAA' |
grep -E '\[\(aaa|ccc\)\]' |
sed -n '/\[aaa\]/{N;l}'|
awk '!a[$0]++ {print $0}' |
sed 's/\\n/\n/;s/\$//'

解説
grepでエラー部分を抽出
grepで[aaa]と[ccc]の行を抽出
sed で1行に結合し改行を\nに変換（行末記号$もついてきてしまう）
awk で重複除去
sed で1行を2行に戻す

Comments

[antaka]

解説もいただきありがとうございます。

Answer 2

こういうのはperlがつぶしが効いていいんですよ。

重複排除に連想配列（ハッシュ）を使うのはotnさんのawk版と同じです。
行番号も取り込むことにより、初出順に出力するようにしてみました。

#!/usr/bin/env perl                                                                                                                                                

use strict;
use warnings;
use utf8;

binmode STDOUT, ':utf8';
binmode STDERR, ':utf8';

my($n, $e, $aaa, %output);
open(my $fhi, '<:utf8', 'test.log') or die;
while(<$fhi>){
  chomp;
  (/^WARNING .*エラー(\S+)/        ) and ($n, $e) = ($., $1);
  (/\[aaa] => (.+)/                ) and $aaa = $1;
  (/\[ccc] => (.+)/ and $e eq 'AAA') and $output{$aaa.$1} = [$n, $aaa, $1];
}
foreach my $x (sort {$output{$a}[0] <=> $output{$b}[0]} keys %output){ # 初出順に出力                                                                              
  printf "[aaa] => %s\n[ccc] => %s\n", $output{$x}[1], $output{$x}[2];
}

Comments

[antaka]

回答いただきありがとうございます。
perl言語には触れたことがありませんでした。
今後スクリプト言語を扱う機会が増えてきたとき、参考にさせていただきます。

Answer 3

grepだとsort -uと組み合わせるにしてもちょっと無理かと思います。
RubyやPython等の言語を使わないとすると、awkでやるのが簡単でしょう。

awk '
/^WARNING/{ AAA=0 }
/^WARNING .*エラーAAA/{ AAA=1 }
/\[aaa\]/ && AAA { aaa = $0 }
/\[ccc\]/ && AAA { X[aaa "\n" $0] = 1 }
END{ for(i in X) print i }
' test.log

出力は順不同です。

Comments

[antaka]

回答いただきありがとうございます。
いただいた内容で出力することができました。

awkコマンドの使い方を把握できていませんでしたが、
覚えれば汎用性が高く感じますので、今後勉強しようと思います。

他の方の回答でもできたのですが、一番早かったのでベストアンサーとさせていただきました。

[otn]

awkを知らなくても、他の言語を知っていれば、大体の意味がわかるように書きました。
{ }の前の物は、{} 内を実行するif条件、
正規表現だけ書くと「入力行がそれにマッチすれば真」という意味になります。
X はこの場合は、ハッシュとか辞書とかいう文字列添え字の変数ですね。