文字列を単語で分割する方法

Question

環境:.NET Framework 4.5.1
使用言語:VB.NET

Stringに格納されている文字列を「単語単位」で分割する方法はどうすればよろしいでしょうか？

Answer 1

MeCabという日本語の形態素解析ライブラリ、およびその.NET用ラッパーであるNMeCabを使った実装の簡単なサンプルです。
ご利用の際はライセンス等お調べの上でお願いします。

＜準備＞

• Visual Studioで新規プロジェクトを作成（以下のサンプルではコンソールアプリ）
• ツール > NuGetパッケージマネージャー > ソリューションのNuGetパッケージの管理
• 「NMeCab」で検索してインストール

コンソールから入力された文字列を単語単位で改行して出力するサンプルです。

While True
    Dim input = Console.ReadLine
    If (input = "") Then
        Exit While
    End If

    Dim mecab = MeCabTagger.Create
    Dim node = mecab.ParseToNode(input)

    While (Not (node) Is Nothing)
        If (node.CharType <> 0) Then
            Console.WriteLine(node.Surface)
        End If

        node = node.Next

    End While

End While

もうちょっと細かい判定など行いたい場合は、「MeCab」「NMeCab」で調べてみてください。

Comments

[退会済みユーザー]

情報ありがとうございます、こちらの内容でも調べていきたいと考えています

Answer 2

訂正：形態素解析が適切なキーワードのようです。大変失礼しました。
te2jiさんご指摘ありがとうございます！

---

日本語だと仮定すると、具体的なサイトなどの紹介を適切にできる自身はないのですが「形態要素分析」「形態要素解析」というキーワードで調べてみると参考になるものがいろいろ見つかると思います。

いくつかみたことがあるのですが、品詞の辞書を持っており文法に従って文字を分析していくようなアルゴリズムを採っていると想像してます。とてもじゃないですが素人が真似できそうもありませんｗ；

一方、英語ですとカンマや空白といった区切り文字が必ず入っているので単語の分割はずっと単純な問題になると思います。しかし、品詞を分析するならばやはり形態要素分析をするようです。

Comments

[退会済みユーザー]

あ、ごめんなさい日本語及びアルファベットこみこみでの分割になります
こちらも調べましたらワードからの分割はあったのですが言語のみでのは見つからなかったもので…

[KSwordOfHaste]

実際に使ったことがないのではっきりとはわかりませんが、日本語の文章にアルファベットが含まれていたらＮＧとなるでは応用が限られてしまうと思うので、「それなりに」扱えるものになっているのではないか・・・と想像してました。あくまで想像ですが。

[退会済みユーザー]

> KSwordOfHaste さん
「形態要素分析」「形態要素解析」って言葉はあまり使わない気がします。
検索ワードとしては、「形態素解析」が適切なのでは？

[KSwordOfHaste]

おっしゃるとおりのようです。wikipediaの見出しもそうですね。
ご指摘いただき大変ありがとうございます。
間違えて覚えてしまうとイカンですね・・・

[退会済みユーザー]

ライブラリを使用せず自身で実装できたらと考えていたのですが、この件は大学が取り込むレベルの代物なので残念ですが長期目標として後回しにします。
みなさんご相談ありがとうございました、形態素解析について追って調べていきたいと考えています。