形態素解析の結果の一部のみを抽出するコードに関して

前提・実現したいこと

Mecabで形態素解析をしたあと、名詞・形容詞・動詞に該当する単語のみを抽出しようとしています。teratailにあった質問の回答に載っていたコードを参考にしています。

発生している問題・エラーメッセージ

以下のコードを実行すると、抽出したい品詞以外の記号なども出力されてしまうのですが、
記号を含まないようにするには、どのようにコードを修正すべきでしょうか。
全ての記号を制御で網羅することは難しいと思いますが、できる限り記号を排除して、
抽出したい品詞だけを抽出したいです。

記号などを含んでいた入力の場合の出力結果

['日本', '/', '東京']
['日本', '-', '東京']
['日本', '&', '東京']

該当のソースコード

python
1import MeCab
2
3def extractKeyword(text):
4    tagger = MeCab.Tagger('-Ochasen')
5    tagger.parse('')
6    node = tagger.parseToNode(text)
7    keywords = []
8    while node:
9        if node.feature.split(",")[0] == u"名詞":
10            keywords.append(node.surface)
11        elif node.feature.split(",")[0] == u"形容詞":
12             keywords.append(node.surface)
13        elif node.feature.split(",")[0] == u"動詞":
14             keywords.append(node.surface)
15        node = node.next
16    return keywords
17text = "日本の/東京"
18extractKeyword(text)

補足情報（FW/ツールのバージョンなど）

python3.6

行動規範の内容に同意します

回答1件

ベストアンサー

MeCabのデフォルト設定（記号がサ変接続（サ行変格活用）の名詞扱い）に起因する問題です。

根本的に対処したければ、このあたりを参考にしてください。コード修正では対処できなくて、辞書の再構築が必要になるので、ちょっと面倒ですけど。

mecabで半角記号が名詞,サ変接続になるのを解決する： nymemo
MeCabさんが記号を「サ変接続」と認識してしまう - BlankTar

コード修正で解消しようと思ったら、サ変接続の名詞はぜんぶ切り捨ててしまうという手があります。この場合、本来のサ変接続の名詞（「苦労する」「愛する」「説明する」等）も捨ててしまうことになりますが、タスクによっては許容できるということも多いでしょう。

追記

回答を書いてから軽く調べて、node.statを見れば、未知語かどうかわかることに気づきました。

python
1import MeCab
2
3def extractKeyword(text):
4    tagger = MeCab.Tagger('-Ochasen')
5    tagger.parse('')
6    node = tagger.parseToNode(text)
7    keywords = []
8    while node:
9        if node.stat != 0:
10            node = node.next
11            continue
12        if node.feature.split(",")[0] == u"名詞":
13            keywords.append(node.surface)
14        elif node.feature.split(",")[0] == u"形容詞":
15             keywords.append(node.surface)
16        elif node.feature.split(",")[0] == u"動詞":
17             keywords.append(node.surface)
18        node = node.next
19    return keywords
20text = "日本の/東京"
21print(extractKeyword(text))  # => ['日本', '東京']
22
23

この方法が一番手間がかからないと思います。ただし、「未知語だけど正しく処理されている」という形態素があれば、犠牲になる（結果のリストに含まれなくなる）ことになります。

参考：
スクリプト言語のバインディング

追記2

特徴の第二層とnode.statの両方を見るパターン。これだと犠牲になるものを減らせるはず。

python
1import MeCab
2
3def extractKeyword(text):
4    tagger = MeCab.Tagger('-Ochasen')
5    tagger.parse('')
6    node = tagger.parseToNode(text)
7    keywords = []
8    while node:
9        if node.feature.split(",")[0] == u"名詞":
10            if node.stat == 0 or node.feature.split(",")[1] != "サ変接続":
11                keywords.append(node.surface)
12        elif node.feature.split(",")[0] == u"形容詞":
13             keywords.append(node.surface)
14        elif node.feature.split(",")[0] == u"動詞":
15             keywords.append(node.surface)
16        node = node.next
17    return keywords
18text = "日本の/東京"
19print(extractKeyword(text))