文字列の言語判定

特定に文字列の中にアラビア語が含まれているかどうか
特定の文字列が日本語かどうか
これを簡単に判定するにはどうしたらよいでしょうか？

文字コードの特定は含まれていません。

yuba

2016/01/06 23:07

日本語判定ですが、漢字だけからなる文字列が中国語ではなく日本語であることまで判定できる必要はありますか？また少し極端ですがカタカナだけからなる文字列がアイヌ語ではなく日本語であることを判定できる必要はありますか？

takagi.1994

2016/01/07 00:45

この場合、漢字だけからなる文字列とはならないため結構です。カタカナの場合もそうならないため結構です。仮にそうであった場合は特異な場合とし、判定が間違うもしくは不能となってもかまわない。日本語判定の場合、特定の文字とはあまり短い文字列ではないため（html1ページ分など）

行動規範の内容に同意します

回答2件

ベストアンサー

C#の文字コードはUnicode(UTF-16)で、Unicodeは言語（文字種類）別に「ブロック」分けしているので、特定のブロックの出現頻度を調べることで言語を推定できると思います。

特定のブロックが文字列中に含まれているかどうかを調べるには、正規表現がお手軽です。\p{ブロック指定}で指定したブロックの文字にマッチさせることができます。例えば、アラビア文字の場合は\p{IsArabic}と指定します。詳しくは.NET Frameworkの「正規表現での文字クラス」を参照ください。

あるいは、正規表現を使わずに文字列の先頭から終端まで1文字ずつ文字コードのブロックを調べて、特定のブロックの出現頻度をカウントするという方法も良いかもしれません。

Unicodeやブロックに関する詳しい説明はWikipediaのUnicodeを参照ください。ちなみに、漢字は'CJK'と呼ばれています。

投稿2016/01/07 02:41