Go言語で正規表現を使い{{}}で括られた文字列を抜き出したい

Question

Go言語で、文字列内で{{..}}で括られた部分を正規表現を使い、以下のように取得したいのですが、{{..}}内に更に{{..}}がある、入れ子になってるとうまく取得できません。

{{今日}}はいい{{天気}}。 → 「今日」「天気」と取得

{{今日は{{いい}}天気}}。 → 「今日は{{いい}}天気」と取得

何か解決案がありましたら宜しくお願いします。

※入れ子が何階層になっても問題なく取得できるものとします

Answer 1

正規表現で入れ子になっている括弧の対応を無制限に認識するようにするには、再帰的なマッチが行える仕組みを持っている必要があります。PerlのRecursive subpattern(うまくアンカーにリンクが張れないので(?R)で検索してください)やRubyのsubexpression callをサポートする正規表現ではなくてはなりません。この機能は正規表現の拡張であり、全ての言語の標準組み込みされた正規表現に備わっているわけではありません。PerlとRuby以外ではPCREや鬼車またはその改良版の鬼雲(Rubyの組み込み正規表現エンジン)をそのまま組み込んでいるPHP(PCREのpreg系と鬼車のmb_ereg系)、Delphi、R等だけです。

参考:

• Regular Expression Recursion
• c# - RegEx - reusing subexpressions - Stack Overflow

PerlとRubyの例

'{{今日は{{いい天気}}。' =~ /\{\{((?:(?0)|\}?[^\}])*)\}\}/;
print $1;

'{{今日は{{いい}}天気}}。' =~ /\{\{((?:\g<0>|\}?[^\}])*)\}\}/
puts $1

Go標準の正規表現ではSyntaxには(?R)がNOT SUPPORTEDと明記されていますので、対応はしていません。Goでどうしても使いたい場合は、pcreのパッケージ、onigurumaのパッケージ、onigmoのパッケージ等を使うか、Cのライブラリを直接読み込んで、上の例のような正規表現にする必要があります。

Comments

[jun68ykt]

ここまで出来る正規表現の拡張があるとは知りませんでした。大変勉強になりました。

[退会済みユーザー]

なるほど勉強になります。Goでもパッケージ使えば実装できるのですね。迷ったのですが、簡単に対応できそうなこちらをベストアンサーにさせて頂きました。回答どうも有り難うございます！

Answer 2

こんにちは

まず、考え方を示し、その後、Golangによるコード例を挙げます。

考え方

プログラミング言語は異なりますが、昨日(1/27)に、以下の類似の質問がありました。

• 正規表現でネストした括弧（）の最短マッチする方法

上記に対する、私の回答 や、この回答から参照されている、さらに以前の類似質問への回答 にも書きましたが、開くカッコと閉じるカッコがきちんと対応して出現し、かつ、カッコのネストもあるような文字列にマッチする正規表現を書くことは（標準の正規表現では）困難です。

このご質問の場合も、上記の質問と同様に、所与の文字列を、以下のようなXMLにしてパースした後に、XPath で
/root/node
に相当する要素を取り出せばよいかと思います。

(1) "{{今日}}はいい{{天気}}。" という文字列を、以下のXMLに変換

<root>
  <node>今日</node>はいい<node>天気</node>。
</root>

(2) {{今日は{{いい}}天気}}。" という文字列を、以下のXMLに変換

<root>
  <node>今日は<node>いい</node>天気</node>。
</root>

上記のようなXMLにすること自体は、 {{ を <node> に、 }} を </node> に置き換えて、<root>・・・</root> で囲めばよいので、単純な文字列操作で出来ます。

XMLが出来れば、Goで用意されているXML処理のパッケージを使ってパースし、欲しい情報を取得すればよいかと思います。

コード例

以下、上記の考え方で作成したコード例です。XMLのパースとXPathによる要素取得のために、github.com/antchfx/xmlquery を使いました。

package main

import (
	"fmt"
	"github.com/antchfx/xmlquery"
	"log"
	"strings"
)

func getXML(text string) string {
	text = strings.Replace(text, "{{", "<node>", -1)
	text = strings.Replace(text, "}}", "</node>", -1)
	text = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n" +
		"<root>\n" +
		text +
		"\n</root>"

	return text
}

func getFirstLevelBracketedTokens(text string) []string {
	xml := getXML(text)

	doc, err := xmlquery.Parse(strings.NewReader(xml))
	if err != nil {
		log.Fatal(err)
		return nil
	}

	var tokens []string
	for _, n := range xmlquery.Find(doc, "/root/node") {
		str := strings.Replace(n.OutputXML(false), "<node>", "{{", -1)
		str = strings.Replace(str, "</node>", "}}", -1)
		tokens = append(tokens, str)
	}

	return tokens
}

func main() {
	tokens := getFirstLevelBracketedTokens("{{今日}}はいい{{天気}}。")
	fmt.Println(tokens)

	tokens = getFirstLevelBracketedTokens("{{今日は{{いい}}天気}}。")
	fmt.Println(tokens)
}

上記のコードで、 関数 getFirstLevelBracketedTokens(text string) は、

• "{{今日}}はいい{{天気}}。" に対しては、 ["今日","天気"] を返します。
• "{{今日は{{いい}}天気}}。" に対しては、 ["今日は{{いい}}天気"] を返します。

以下にて動作確認できます。

• 動作確認用Repl.it https://repl.it/@jun68ykt/Q238025

もし、上記のようなXML（などの他のフォーマット）に変換してそれに対する既存のパーサーを使うという方法を採らずに、直接、所与の文字列をパースするコードを自作しようとすると、左から読んでいき、 {{ が出現するたびに、それを何らかのスタック構造に積み、 }} が見つかったらスタックからポップさせるような（プッシュダウンオートマトンの動きをする）プログラムを書くことになり、それなりに書くのに労力を要するものになるのではと思います。

以上、参考になれば幸いです。

Comments

[退会済みユーザー]

この考え方は他のケースでも応用が利きそうですね。XMLで処理する発想はありませんでした。ご丁寧にコードまで書いて頂いて分かりやすかったです。回答どうも有り難うございました！

[jun68ykt]

どういたしまして。参考になれば幸いです。私も勉強になりました。