正規表現

Question

#環境
以下の環境のjava言語を使用しています。
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

質問の中では見やすい様にバックスラッシュを1つだけ記入していますが、javaの仕様上、本来のコードの中ではバックスラッシュを2つ重ねるか円マークを使用しています。

#質問
{*から始まり、*} で終わる文字列とマッチさせる処理についてです。

これだけなら\{\*.*\*\}の様に書くのが普通でしょうか。

これに改行も対応させたいです。
\{\*[\t-~]*\*\}の様に書けば出来たのですが、良い書き方なのでしょうか。

そして本題ですが、ネストに対応させたいです。
{* a {* b *} c *}
に対しては全てマッチし、
{* a {* b *}や{* b *} c *}
に対しては
{*b*}
の部分だけマッチさせたいです。

色々試しましたが、何かうまくいきません。
再起的な処理になるので、正規表現だけでは無理があるのですかね。

#訂正
この括弧のルールだと、エスケープ文字が乱れてしまうので、ここでは
{*ではなく<,
*}ではなく>
の様な括弧の対応で考える事にします。

< a < b > c > には < a < b > c >
< a < b > には < b >
< < a > b には < a >
< a < b < c > > には < b < c > >
< a > b < c > には < a >と< c >

のようになります。
<と>の数が対応する条件で、一番外側の括弧とその中身がマッチするという様にしたいです。

Comments

[ikedas]

実際にお使いになっているプログラミング言語やプログラムを教えて下さい。正規表現には環境により違いがあることがあるので。

[kunai]

正規表現と一言で言っても、使う環境によって書き方が変わってきます。想定されているプログラム言語なりツールを教えていただけますか？

Answer 1

お察しの通り、任意の深さの括弧の入れ子を、正規表現だけで扱うことはできません。

しかし、実用上は、入れ子がある深さ以下の場合しか入力に現れないことも多いです (またはそう仮定して、想定外の深い入れ子のときはあきらめる)。とにかくその場合は、入れ子が1、2、……最大値の表現を作って、それを選言 (|) で連結すれば、目的の正規表現ができますね。

<[^>]*<[^>]*<[^>]*>[^>]*>[^>]*>     # 3重
<[^>]*<[^>]*>[^>]*>                 # 2重
<[^>]*>                             # 1重

だから3重以下は

<[^>]*<[^>]*<[^>]*>[^>]*>[^>]*>|<[^>]*<[^>]*>[^>]*>|<[^>]*>

とはいえ、入れ子が深くなるほど正規表現は複雑になっていくので、深さが小さくないのなら正規表現を使わないほうがいいと思います。

• Scannerを使えばテキストをトークンに分解して解析できます。
• 本格的な構文解析が必要ならJavaCCも使えます。

Comments

[ikedas]

自作インタプリタでコメントの解析に使うとのことですが、であれば「コメントはネストできない」と決める、という手もあります。あるいは、「"{*" が何回出現しようと、"*}"が出現したらコメントは終了」でもいいでしょう。

[raccy]

私もネスト禁止に一票です。むしろコメントをネストできる方が少ない(Cの/*...*/は無理、HTMLの<!--...-->も無理等)ので、無理にネストを実装しない方が良いかと思います。

Answer 2

HTMLなどのタグがイメージとして近い気がしますが合っていますか？

もしそうでしたら、正規表現だけだと無理だと思います。

正規表現は、予め決められたパターンに一致するかどうかを判定するものなので、
開始タグはあるけど閉じタグがないものやその逆を判断するには適していないと思います。

正規表現よりは構文解析について調べると良いと思います。

Answer 3

実際にやりたいことは字句解析ってところですかね？
そうなるとトークン使ってどうこうって話になると思います。
簡単な実装例

追記
こっちの方はやりたいことにかなり近そうだったので
パーサーの作り方

Comments

[mightyMask]

はい。その通りです。自作言語のインタプリタを作りたくて、その字句解析を作成しています。
この辺りの記事も既に目に通しています。
今やろうとしているのはコメントの処理なので、できればトークンにせず処理したいのです。

[ishi9]

すいません、実際に試してないのでただのヒント（になるかもわからない）なのですが、先読みを使えばできるかも
http://www.javadrive.jp/regex/lookahead/index1.html

Answer 4

正規表現テスト

こんなサイトが色々あります。
試行錯誤してみては？

Answer 5

1階層を仮定すると
<[^<>]>
2階層以下を仮定すると
<[^<>](?:<[^<>]>[^<>])>
3階層以下を仮定すると
<[^<>](?:<[^<>](?:<[^<>]>[^<>])>[^<>])>

というようにある有限階層以下を仮定しない限り、正規表現は無限の長さになります。
その前に正規表現コンパイラが音を上げます。

文脈自由文法では、無限階層でも、有限の規則で極めて簡素に書けます。
Javaの構文規則も文脈自由文法で書かれています。
文脈自由文法は、正規表現より1ランク上の複雑な構造を扱えるのですが、まともに実装すると非常に骨が折れます。

現実的には、'<'で階層を1つ下げ'>'で1つ上げるカウンタ方式か、最難でもスタック方式でしょうね。

Answer 6

\{\*([^\{\*]*)\*\}

こんなのでどうでしょうか。

Comments

[mightyMask]

この書き方だと、{* と *} の間に {* が来ないものを表していますから、一番内側の括弧とその中身とマッチする形になっている様です。
そうではなく、一番外側の括弧とその中身とマッチする様にしたいのです。

[kunai]

一番外側の{* *}と言う事だと、{* a {* b *}が「b」だけ抽出する理由がよくわからないのですが。。
質問文に、「この文字の場合」「コレを抽出したい」と言う例を具体的に示していただけますか？

[kunai]

仕様に一貫性がないので無理だと思います。
< a < b > c >の場合は「一番外側の< >」であり、
< a < b >の場合は「一番内側の< >」がマッチするというような形で
仕様が異なるため、少なくとも1つの正規表現で取得するのはムリだと思います。