[sh] あるファイルに行ったマッチングの結果を使って、別なファイルを加工したい

Question

やりたいこと

<!-- a.md -->

- a: aの説明
    - b: bの説明
    - c: cの説明

<!-- b.md -->

- a
    - c
    - d

みたいなMarkdownが2つあったとします。

a.mdにはそれぞれのアイテムの説明がついています。
b.mdには説明はなく、bが削除され、dが追加されています。

これらから、

<!-- output -->

- a: aの説明
    - c: cの説明
    - d

というMarkdownを作りたいと思っています。
つまり、b.mdの階層構造をベースに、共通するアイテムの説明をa.mdから引っ張って来たいです。
bがb.mdにないからと言って追加したりせず、dの説明がa.mdにないからといって削除したりしない。
(これをマージというのかは微妙ですが・・・)

試したこと

とりあえずgrep -o -f b.md a.md | sed -E 's/^/(/;s/$/)(.*)/'で、

(- a)(.*)
(    - c)(.*)

と、a.mdとb.mdの共通するアイテムを見つけ、そこから説明をキャプチャできそうなパターンを作ることはできます。このパターンでa.mdにマッチングをかければ1番目のグループに対象の階層構造、2番目のグループに説明をキャプチャできるはず。その結果を使ってb.mdの末尾を2番目のグループで置換できれば望みのデータが得られそうなんですが・・・

**「a.mdにマッチングをかける」と「その結果を使ってb.mdを置換する」**を上手く接続できません。for等を使って1つ1つ変数に入れてやれば自分でもできそうな気はしますが、いまいちshellっぽくない感じがします。

xargsとか使うのかなと思うのですが・・・
shellっぽくいい感じにできませんか・・・?

環境としてはMacOS Catalinaのzshですが、あまり特殊なコマンドは使わないで汎用的なものにしていただけると嬉しいです。

よろしくお願いします。

Answer 1

このパターンでa.mdにマッチングをかければ

は、

grep -E -f <(grep -o -f b.md a.md | sed -E 's/^/(/;s/$/)(.*)/') a.
md
または、
grep -o -f b.md a.md | sed -E 's/^/(/;s/$/)(.*)/' | xargs -I{} grep -E {} a.md

で出来ますが、その先をどうしたいのかよく分かりません。

そもそものやりたいことは、下記で出来ると思います。

sed -f <(sed 's/^/s#/;s/:/#\&/;s/$/#/' a.md) b.md

Comments

[SAKASHITA-Koki]

なるほど・・・とても鮮やかです。

- sedのsコマンドの区切り文字は`/`でなくてもいい(sの次の文字が区切り文字となる)
- sedのsコマンドにおける`&`は置換前の文字列を意味する
- Process Substitution`<(...)`機能
- sedコマンドをsedを使って作るというアイデア

勉強になりました・・・ありがとうございます！

[otn]

解説がいるかなと思ったのですが、解説無しで自分で調べて理解できたと言うことは、シェルについて次に質問する場合は初心者マークを取って良いのでは？と思います。

[SAKASHITA-Koki]

そう言っていただけると恐縮です・・・！！
次からはそうさせていただきます。

Answer 2

これは完全に私の挙げた例が不適切で、言葉足らずだったのですが、a.mdの階層構造と説明は、必ずしも:で区切られているのではなく、-や単に など、予測のできないものでした。一方でb.mdには絶対に説明が付かず、純粋に階層構造のみを表します。
本当にすみません・・・

otnさんに頂いた回答sed -f <(sed 's/^/s#/;s/:/#\&/;s/$/#/' a.md) b.mdは質問文からすれば完璧でした。ありがとうございます！
また、otnさんの回答から、以下のことを学びました。

• sedのsコマンドの区切り文字は/でなくてもいい(sの次の文字が区切り文字となる)
• sedのsコマンドにおける**&は置換前の文字列を意味する**
• Process Substitution<(...)機能
• sedコマンドをsedを使って作るというアイデア

そこで、otnさんの回答をベースにして、当初自分が考えていたような、:以外の多くの区切り文字に対応できるワンライナーを考えました。

sed -f <(sed -f <(sed 's/^/s@/;s/$/@s#\&#\\&@/' b.md) a.md | sed -E '/^[^(s#)]/d;s/$/#/') b.md

sedコマンドを作るためのsedコマンドを作るためのsedコマンドです・・・。
処理の流れを説明しようとしましたが、上手く文章化できませんでした・・・すみません。

1つずつパズルのようにコマンドを組み上げていくのは楽しかったです。
ありがとうございました・・・！！

Comments

[otn]

「aの説明」の文字列中に # や @ という文字が出てくるかも知れない
とか、考えるともっと複雑ですね。
頭が痛い。sedでも不可能では無いと思いますが、他の言語を使うかな。

おそらくYAML形式のファイルではないかと思うので、もしそうならYAMLライブラリのある言語を使うと、コードは長くはなりますが、頭が痛くならずに書けると思います。

[SAKASHITA-Koki]

そうですね・・・これ以上は考えたくないです・・・
ご丁寧にありがとうございました！