SED文が難解過ぎて読めません

Question

zcat -f /var/log/access*|sed -rn 's/^::ffff:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$/\2,\1/p'|sort|uniq|grep 123456

こちらのコマンドですが、、zcat -f /var/log/access*とgrep 123456はわかるのですが、、、

|sed -rn 's/^::ffff:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$/\2,\1/p'|sort|uniq|

上記省いた、｜｜でくくられた中がわからないです。。。
こちらに来ればSEDマスターがいると伺いました。

句ごとに教えていただけませんでしょうか。。
恐らくですが、、

|sed -rn 's/^::ffff:
([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3})
.+submit2/
([0-9]+)
.+$/\2,\1/p'
|sort|uniq|

とそれぞれわかれているようにも見えます。。私には象形文字にしか見えないです。
どたなかご教授願います。。ちなみに最後にgrep 123456でこのようにしてあるのは、
.outとしてwiresharkで123456に関連しているものをSEDを使って全部抜き出しているみたいです。

123456 xxxxxxx
123456 xxxxxxx
123456 xxxxxxx

その為、上のxxxxxxのコンディションを指定していると思うのですが、、難解過ぎて読めないです。
どなたかご教授願います。

よろしくお願いいたします。

Answer 1

sedのsコマンド、^\:\:ffff\:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$の部分にまず着目します。これを分解して頭から見ていくと、下表のようになります。

No	指定(メタ)文字列	意味する文字列
1	^	行頭から
2	:	":"
3	:	":"
4	ffff	"ffff"
5	:	":"
6	([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3})	"nnn.nnn.nnn.nnn"形式のIPv4アドレス(※第1グループ
7	.+	1文字スペース、続いて任意の文字が1文字以上
8	submit2	"submit2"
9	/	"/"
10	([0-9]+)	"0"から"9"の文字が1文字以上(※第2グループ)
11	.+$	1文字スペース、続いて任意の文字が1文字以上続き、行末まで

で、第1グループであるIPv4アドレス、第2グループのNo(?っぽいもの)を抜き出します。それを\2,\1/p部分で"第2グループ,第1グループ"の並びにし、pにより出力。|sortでsortコマンドにパイプで繋げてソートして出力。更に|uniqでuniqコマンドにパイプで繋げて、重複行を削除、です。

対象とする行データは、::ffff:192.168.1.11 DONTCARE submit2/5 DONTCARE<改行>のようなものでしょう。sedコマンドの部分だけを実行してみると以下のようになります。

$ cat data.txt
::ffff:192.168.1.11 DONTCARE submit2/5 DONTCARE
::ffff:192.168.1.15 DONTCARE submit2/2 DONTCARE
::ffff:192.168.1.20 DONTCARE submit2/1 DONTCARE

$ sed -rn 's/^\:\:ffff\:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$/\2,\1/p' data.txt
5,192.168.1.11
2,192.168.1.15
1,192.168.1.20

尚、sedコマンド自体のオプション指定の-nrですが、少なくともGNU版sedをお使いなのでしょう。-nはsed内sコマンド中のpオプションs/置換元/置換先/pと組み合わせることで置換した文字列のみを出力するようにしています。-rは拡張正規表現をスクリプト中に許すもので、本質問で言えばIPv4アドレス相当の文字列中[0-9]{1,3}のような範囲繰り返し回数指定を可能としています。-rが無いとエラーになります。

GNU sed 4.4 について、man sed でのオプション説明抜粋
 -E, -r, --regexp-extended

              use  extended regular expressions in the script (for portability
              use POSIX -E).

Comments

[退会済みユーザー]

わかりやすい、丁寧、すばらしい！

[dodox86]

お褒めいただいて光栄です。どうもありがとうございます。

[otn]

> 範囲指定を可能
繰り返し回数指定
でしょうか。

[dodox86]

otnさん、ご指摘ありがとうございます。回答を修正させていただきました。

Answer 2

正規表現というものを知らないのであれば、今後のためにも最低限の理解だけはしておいた方が良いと思います。

/^\:\:ffff\:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$/

この正規表現は長いですが、複雑な機能は使ってないので、正規表現の基本を理解すれば、すぐに読めるようになります。

ややおかしな点もあるので、これを書いた人もおそらく初心者です。

Answer 3

最初に、標準入力や標準出力や標準エラーの概念を確認しておきます。
一見難解なコマンドの羅列は、すべて、標準入力で受け取り、標準出力に送り出す、
それをパイプという仕組みで他のコマンドの標準出力を次のコマンドの標準入力に渡すようにできています。

パイプは「|」縦棒みたいな記号で示されるので、
まずはパイプでコマンドを分割します。

## わかりやすさのため、パイプの箇所で改行しちゃうね
zcat -f /var/log/access*

sed -rn 's/^\:\:ffff\:([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) .+submit2/([0-9]+) .+$/\2,\1/p'

sort

uniq

grep 123456

sedに関しては
sed コマンド | コマンドの使い方(Linux) | hydroculのメモ
やsedコマンドのマニュアルを探して丁寧に読んでみてほしいのだけど、
sedの箇所について、-rnってオプションがあるけど、
-nはマッチした行だけ出力するもの、
-rは拡張正規表現を使うことの宣言と言うか指示。拡張正規表現でメタ文字のエスケープを意図したいってことだろう。

基本正規表現と拡張正規表現とで扱いが異なるのは以下の7文字のみである。

• ? { } ( ) |

これらの文字の前にバックスラッシュでエスケープするかどうかで、正規表現での特殊な意味になるか、単にその文字そのものの意味になるかが、基本正規表現と拡張正規表現とで変わる。拡張正規表現という名前の割には機能が上がっているわけではない。

ってなことを踏まえつつ、
正規表現 & sed & awk - Qiitaでsコマンドの仕組みを理解しつつ
正規表現メモで細かな正規表現の差異も気にしつつ
解読がんばれ。
（時間的余裕が出たら、あとで解読頑張る。）

Answer 4

抜き出された部分は　sed と sort と uniq と３つのコマンドが書かれてます。
sed の結果を sort し uniq して grep に渡す。

sedは単純な置き換えです。でも慣れないと正規表現が暗号でしょうね。

前半 /^(###)(&&&)$/ と 後半 /\2,\1/　があって
前半に一致したら、
(###) 部分と (&&&) 部分を　\1に###を\2に&&&をいれます
ということです。
-rn　とか最後の　/p　とかは勉強して下さい。
****部分もnagettyさんの資料で勉強できるかと

Answer 5

sedは使えるようになると大変便利なツールなんで、これから先も付き合わないといけないようなら下記のURLで学習することをお勧めします。

https://www.aihara.co.jp/~taiji/unix-tips/a2asterisk/sed-howto-0.html