正規表現で日本語を取得したい

Question

###教えてもらいたいこと
任意の文字列から，日本語の部分をString配列orListで取得する方法が知りたいです．

###日本語取得の例
下のコードであれば，出力結果は「亜 え ふ ぃ えふ ふぃ えふぃ」(順不同)となってほしいです．

public static void main(String[] args) {
	String str = "g亜nergえふぃwjtoo";

	String regex = "「日本語を取得する正規表現」";
	Pattern p = Pattern.compile(regex);
	Matcher m = p.matcher("aaaaa");

	while(m.find()) {
		System.out.print(m.group() + "");
	}
}

###今分かっていること
・日本語(ひらがな，カタカナ，漢字)を表す正規表現：亜-熙ぁ-んァ-ヶ
・最小マッチ，最大マッチの方法

よろしくお願いします．

Answer 1

Unicodeの文字のブロックに触れてみる

// 平仮名4つ
System.out.println( "ひらがな".matches( "\\p{InHiragana}{4}" ) );
    // => true

// カタカナ4つ
System.out.println( "カタカナ".matches( "\\p{InKatakana}{4}" ) );
    // => true

// 漢字2つ
System.out.println( "漢字".matches( "\\p{InCjkUnifiedIdeographs}{2}" ) );
    // => true

漢字は日本のものに限定できないようですが

必要に応じて以下等も追加してください

• CJK_SYMBOLS_AND_PUNCTUATION
• CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A

Comments

[Matt]

Unicode試してみました．正規表現は[亜-熙ぁ-んァ-ヶ]より，上記の方がよいのでしょうか？

[SVC34]

[亜-熙]はShift-JISでのコードポイントが前提なのでダメなようです。
Unicodeの場合に日本の常用漢字を範囲で表すと[一-龠]になるようです。

JavaScriptで漢字を表す正規表現 http://stabucky.com/wp/archives/7594

[SVC34]

どれが適切か、というのは結局どこまでマッチさせたいか、もしくはマッチしてしまっても許容するかという要件次第です

Unicodeで「漢字」の正規表現 http://tama-san.com/kanji-regex/

[Matt]

[一-龠]を使うことにします

Answer 2

まずはご質問事項に回答致します。

日本語(ひらがな，カタカナ，漢字)を表す正規表現：亜-熙ぁ-んァ-ヶ

私は2バイト文字を探す、という意味で "[^\x01-\x7E]" をよく使用しています。個人的にはこれがおすすめですが色んな方法があると思いますので色々調べてみると面白いと思います。

最小マッチ，最大マッチの方法

上記正規表現にて最小マッチと最大マッチを実行する場合、
最大マッチは

[^\x01-\x7E]+

最小マッチは

[^\x01-\x7E]+?

となります。
+はその前のセンテンス(今回の場合は「[^\x01-\x7E]+」)が1文字以上であること、という意味です。
また、?を付与することで最小マッチという意味になります。

さて、コードについてですが、最小マッチと最大マッチを同時に取得する正規表現は簡単には実施できませんし、そのような正規表現が書けたとしても一般的な理解しやすい正規表現ではなくなると予想できますので、おすすめできません。自分以外のコーダーがそのソースを見てもすぐに理解できないからです。

そこで、以下のように一度最大マッチで文字列を取得した後、Javaプログラムにてマッチした文字列の成形を実施するパターンはいかがでしょうか。

	public static void main(String[] args) {

		// 検索対象文字列
		String str = "g亜nergえふぃwjtoo";

		// 正規表現パターン(最長マッチ)
		String regex = "[^\\x01-\\x7E]+";

		// 正規表現オブジェクト取得
		Pattern p = Pattern.compile(regex);

		// パターンマッチ実施
		Matcher m = p.matcher(str);

		// 全マッチを走査
		while (m.find()) {

			// マッチ結果をバッファ取得
			String buf = m.group();

			// マッチした文字列を文字数ごとに分割して出力
			for (int i = 1; i <= buf.length(); i++) {
				for (int j = 0; j <= buf.length() - i; j++) {
					System.out.print(buf.substring(j, j + i) + " ");
				}
			}

		}
	}

Answer 3

Javaの正規表現マッチングでは、一度読み込んだ文字を巻き戻してもう一度読み込むということはできない(後読みというのはあるが、位置に関するマッチングを行うだけで巻き戻してマッチさせるということができない）ので、マッチングのみでご質問の結果を得ることはできません。
いったん日本語部分の文字列をすべて取り出した後、各文字列から部分文字列をすべて取り出すという作業を別途行う必要があります。

import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.stream.Stream;
import java.util.stream.Stream.Builder;

public class Q92346 {

	public static void main(String[] args) {
		String str = "g亜nergえふぃwjtoo";

	    String regex = "[一-龠ぁ-ゞァ-ヶ]+";
	    Pattern p = Pattern.compile(regex);
	    Matcher m = p.matcher(str);
	    Builder<String> builder = Stream.builder();

	    while(m.find()) {
	        builder.accept(m.group());
	    }
	    
	    builder.build()
	    	.flatMap(Q92346::partials)
	    	.forEachOrdered(System.out::println);
	    
	}
	
	public static Stream<String> partials(String target) {
		Builder<String> builder = Stream.builder();
		for (int i = 0; i < target.length(); i++) {
			for (int j = i + 1; j <= target.length(); j++) {
				builder.accept(target.substring(i, j));
			}
		}
		return builder.build();
	}

}

Comments

[Matt]

正規表現は戻ることができないのですね．べんきょうになりました．

Answer 4

javaは知らないので、正規表現のみ示します。

/\p{Katakana}+/
/\p{Hiragana}+/
/\p{Han}+/
/\p{Katakana}+?/
/\p{Hiragana}+?/
/\p{Han}+?/

上から、
１文字以上のカタカナ（最大マッチ）
１文字以上のひらがな（最大マッチ）
１文字以上の漢字（最大マッチ）
１文字以上のカタカナ（最小マッチ）
１文字以上のひらがな（最小マッチ）
１文字以上の漢字（最小マッチ）

Comments

[Matt]

\p{Katakana}などの正規表現は使えないようです．