mecabで形態素解析をする際に活用形を原形に統一する

Question

Mecabで形態素解析をし、文章のベクトル生成を目的としています。

以下のコードで単語ごと(名詞、動詞、形容詞)に分割が出来たのですが、活用形がばらばらになっています。活用形を統一して単語ベクトルの生成を行いたいです。

活用形の統一、原形に直す処理の仕方を教えて頂きたいです。よろしくお願い致します。

def split_word(text):
    tagger = MeCab.Tagger('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')
    node = tagger.parseToNode(text)
    word_list = []
    while node:
        pos = node.feature.split(",")[0]
        if pos in ["名詞", "動詞", "形容詞"]:
            word = node.surface
            word_list.append(word)
        node = node.next
    return " ".join(word_list)

頂いた情報より手探りでコードを書き換えてみたのですがエラーが出てしまいました。

def split_word(text,category):
    tagger = MeCab.Tagger('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')
    sentense = ""
    node = tagger.parseToNode(text)
    word_list = []

    while node:
        #指定した品詞(category)のみ原型で抽出
        if node.feature.split(",")[0] == category:
            sentense += " "+node.feature.split(",")[6] #★変更点
        else:pass
        word_list.append(sentense)
        node = node.next
    return " ".join(word_list)

  File "pandas/_libs/lib.pyx", line 2859, in pandas._libs.lib.map_infer
TypeError: split_word() missing 1 required positional argument: 'category'

Comments

[quickquip]

関数に引数を増やしたのに、呼び出し元を変えていないのでは?

Answer 1

動詞の活用形を基本形に戻して分かち書きし，分かち書きした後に元の活用形に戻したいの回答が参考にならないでしょうか。
すなわちfeatureの中の原形を採ればよいかと思います。
参考：MeCab: Yet Another Part-of-Speech and Morphological Analyzer

Comments

[abba2310]

そちらの質問の方も閲覧させて頂いたのですが、どこに手を加えたら良いのかが分かりませんでした。
手探りですが教えて頂いたurl等を見ながら少しコードを変えてみたのですがエラーが出てしまいました。
変えてみたコードの方も掲載しておくので、もし添削等可能であればよろしくお願い致します。

[8524ba23]

とりあえずcategoryという引数を追加したことで発生したエラーのようなので、元に戻して「★変更点」という修正のみにしてみてください。