シェルスクリプト 1つの行の中に同じファイルパスが複数書かれているテキストからファイルパス文字列を取得したい

Question

シェルスクリプト(bash)にて、1つの行の中に同じファイルパスが複数書かれている下記のsample.txtから、各行のファイルパス文字列を取り出そうとしています。
とりあえず最初の行から取り出すファイルパスを取り出す方法をお教え下さい。

$ cat sample.txt
1,/data/aa.ext,641,/data/aa.ext,
2,/data/bbb.ex,830,/data/bbb.ex,
2,/data/cc.ex1,830,/data/cc.ex1

(できない例)
$ cat sample.txt | grep -Eo -m 1 "/data/.*.?[a-zA-Z0-9]*"
/data/aa.ext,641,/data/aa.ext,

$ cat sample.txt | grep -Po -m 1 "/data/.*.?[a-zA-Z0-9]*"
/data/aa.ext,641,/data/aa.ext,

$ cat sample.txt | grep -Po -m 1 "/data/.*.[a-zA-Z0-9]*?,"
/data/aa.ext,641,/data/aa.ext,

Answer 1

1つの行の中に同じファイルパスが複数書かれている下記のsample.txtから、

「複数書かれている」というのが重要であるなら、
「/で始まる文字列が2つ同じ物が出てきたら2つめを抜き出す」だと、

grep -P -o '(/.*).*\K\1'

ですね。ただこれだと、,もパスの一部と見なすので、含めたくないなら、

grep -P -o '(/[^,]*).*\K\1'

\1はその前の括弧内と同じ文字列。\Kは後読みという概念で、マッチした後で、そこから前の部分はマッチした文字列から（つまり-oでの表示対象から）除きます。

実行結果：

cat <<EOF |
1,/data/aa.ext,641,/data/aa.ext,
2,/data/bbb.ex,830,/data/bbb.ex,
2,/data/cc.ex1,830,/data/cc.ex1
EOF
grep -P -o '(/[^,]*).*\K\1'
===>
/data/aa.ext
/data/bbb.ex
/data/cc.ex1

Comments

[rasum]

otn様、ありがとうございます。
正しく動作することを確認しましたが、私には、'(/.*).*\K\1'が次のように動作するように思われるのですが、正しい動作の仕組みをお教え下されば助かります。
「a. (/.*)によって/で始まる文字列の末尾までがマッチする」
「b. 続く .* に対する肯定後読みで、aでのマッチの最後尾の後ろ(=文字列の末尾)がマッチポイントとなる」
「c. bでのマッチポイントから後ろには何もないので、\1 にマッチすることはない 」

[otn]

\Kは後から考えれば良いので、さておき、
(/.*).*\1
は、「/で始まる文字列 甲 があり、そのあとで甲と同じ物が出てくる」という文字列にマッチします。

最初の (/.*) が文字列全体にマッチさせた場合、\1 にマッチする物がないので、全体としてマッチが失敗しますので、そういう結果は出てきません。

具体例で言うと、対象が、
/abc/ab
だとすると、全体のマッチで (/.*) になり得るのが、/ と /a と /ab だけですが、その中の最長マッチである /ab が該当します。
(/.*) が /abc にマッチした場合は、\1 にマッチする物がないので全体のマッチが失敗します。

[rasum]

> (/.*).*\1
> は、「/で始まる文字列 甲 があり、そのあとで甲と同じ物が出てくる」という文字列にマッチします。

上記が理解できないのですが、「丸括弧のグループ化部分」「.*での文字の連続の部分」「\1 の置換の部分」と分けて考えるのではなく、全体でこういうものと理解すべきものなのでしょうか?

[otn]

ちょっと質問の意味がわかりません。
その3つの正規表現が連結して1つになった物が、回答の正規表現です。
\1は置換じゃないですが？後方参照と呼ばれます。

[otn]

「上記が理解できない」というのが理解できないのですが、
a.*b が「aで始まる文字列がありそのあとでbが出てくる」というのも理解できませんか？
理解できるなら、それと同じ構造なのですが。

[rasum]

\1は置換ではなく参照ですね。間違えました。
(/.*).* において、(/.*)でキャッチする範囲は「\1 が成立する範囲で、その範囲の後ろから \1 の直前までは(/.*)の後の .* にマッチする」ということでしょうか?
(/.*)で文字列の末尾までをキャッチしてしまうように思えてしまいます。

[otn]

> (/.*)で文字列の末尾までをキャッチしてしまうように思えてしまいます。
のように感じられたので、
> a.*b が「aで始まる文字列がありそのあとでbが出てくる」というのも理解できませんか？
と聞いてみました。a.* が文字列の最後までマッチしたら、bにマッチする物がなくなって、axbにもマッチしません。

[rasum]

a,*b は「bが末尾だよ」と示していますが、/.* は「/で始まったら最後まで全部だよ」と言っているように思ってしまいます。
その上で、(/.*).*\1 は、「/で始まり文字列の最後までのものから \1 でマッチする部分を( )グループの文字列とし、残りの文字列は( )と\1の間の .* にマッチさせている」と理解するのは間違いなんでしょうね。

[otn]

はい。間違いです。
.* の後にまだ続きがある場合は、「最後まで全部」じゃなくて、「続きの手前まで」にマッチします。
a.*bと同じです。

[rasum]

"1,/data/aa.ext,641,/data/aa.ext,"を対象文字列とした時、
(/.*).* で「続きの手前まで」のマッチはどこまでなのでしょうか?

[otn]

どっちの .* のことですかね？
全体の正規表現が (/.*).*\1 だとすると、
1つめの .* の続きは .*\1 で、これは 641,/data/aa.exe, にマッチするのでその手前までです。
2つめの .* の続きは \1 で、これは/data/aa.exe,にマッチするのでその手前までです。

[otn]

マッチするまでのプロセスが理解できないと言うことですかね？
"1,/data/aa.ext,641,/data/aa.ext," と (/.*).*\1 だとして、

まず(/.*)の繰り返しが0回つまり、/ のとき、\1も/なので、正規表現は /.*/ となり、これは文字列 /data/aa.ext,641,/data/ にマッチします。中間の.*が最長マッチなので、data/aa.ext,641,/data ですね。
全体のマッチが成功したので、もし (/.*?).*\1 というふうに最小マッチならこれで終わりです。
ところが最長マッチなので、より長い .* でもマッチするかもしれないのでチェックします。

.*が1回の繰り返し、つまり、(/.*) が /d のとき、\1 も /d なので、正規表現は /d.*/d になりますが、これは /data/aa.ext,641,/d にマッチしますね。
（中略）
.*が12回の繰り返し、つまり (/.*) が /data/aa.ext, のとき \1 も /data/aa.ext, なので、正規表現は、/data/aa.ext,641,/data/aa.ext, にマッチします。
.*が13回の繰り返し、つまり (/.*) が /data/aa.ext,6 のとき \1 も /data/aa.ext,6 になりますが、これは対象文字列にマッチしません。
最長マッチはマッチする範囲での最大回数なので、12回繰り返しと言うことで決定しました。

今、0回繰り返しからマッチしなくなるまで伸ばしていきましたが、最大マッチなので最大からマッチするまで縮める方法もあると思います。実際の正規表現ライブラリがどういうアルゴリズムなのかは知りません。

[rasum]

詳しい説明をありがとうございます。やっと、参照がある時のマッチの仕組みがわかりした。

Answer 2

私ならawkを使います。

echo ',/data/aa.ext,641,/data/aa.ext' | awk -F, '{p[$2]=1; p[$4]=1; for(k in p){print k}}'

Answer 3

要件が不明確ですが、とりあえず

$ grep -o '/data/[^,]*' sample.txt
/data/aa.ext
/data/aa.ext
/data/bbb.ex
/data/bbb.ex
/data/cc.ex1
/data/cc.ex1

$ grep -o '/data/[^,]*' sample.txt | uniq
/data/aa.ext
/data/bbb.ex
/data/cc.ex1

Comments

[rasum]

itagagaki様、ありがとうございます。
大変シンプルでわかりやすい方法をありがとうございます。

Answer 4

$ cat sample.txt | grep -Po '/data/.*?((?=,)|$)'
/data/aa.ext
/data/aa.ext
/data/bbb.ex
/data/bbb.ex
/data/cc.ex1
/data/cc.ex1

Comments

[rasum]

melian様、ありがとうございます。
正規表現におけるグループ化、先読みの勉強になりました。

Answer 5

とりあえず

cat sample.txt | \
while IFS=, read a b c d e
do
  echo $b
  echo $d
done

--- 追記 ---

cat sample.txt | cut -f 2 -d,

Comments

[rasum]

takasima20様、ありがとうございます。
元データが大きいとreadの引数に困るかと思います。