scikit-learnでtfidfを求めることに関して

Question

やりたいこと

scikit-learnのTfidfVectorizerを使用してtfidfを求める。

疑問

日本語の場合、引数analyzerに形態素解析する関数を与えますよね。

このとき「文字列は同じだが、品詞の異なる形態素」はどのように扱われるのでしょうか？

get_feature_names()の結果は2つが別々になっているのでしょうか？

Answer 1

定義したanalyzerの仕様に依存します。surfaceだけでやれば当然同じ形態素として扱われてしまいます。

シンプルな例。

$ mecab  # 説明のためにコメントを付けます。本来入力はしていないもの
犬の鼻は良い  # 入力文
犬	名詞,一般,*,*,*,*,犬,イヌ,イヌ
の	助詞,連体化,*,*,*,*,の,ノ,ノ  # 助詞の「の」
鼻	名詞,一般,*,*,*,*,鼻,ハナ,ハナ
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
良い	形容詞,自立,*,*,形容詞・アウオ段,基本形,良い,ヨイ,ヨイ
EOS
転んだのは誰  # 入力文
転ん	動詞,自立,*,*,五段・バ行,連用タ接続,転ぶ,コロン,コロン
だ	助動詞,*,*,*,特殊・タ,基本形,だ,ダ,ダ
の	名詞,非自立,一般,*,*,*,の,ノ,ノ  # 形式名詞の「の」
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
誰	名詞,代名詞,一般,*,*,*,誰,ダレ,ダレ
EOS

それぞれの助詞の「の」と、いわゆる形式名詞の「の」があります。

以下の場合は区別されません。

import MeCab
from sklearn.feature_extraction.text import TfidfVectorizer

def analyzer(s):
    tagger = MeCab.Tagger()
    tagger.parse("")
    node = tagger.parseToNode(s).next
    result = []
    while node.next:
        result.append(node.surface)
        node = node.next
    return result

data = ["犬の鼻は良い", "転んだのは誰"]

tfidf = TfidfVectorizer(analyzer=analyzer)
X = tfidf.fit_transform(data)
print(tfidf.get_feature_names())
print(X.toarray())

""" =>
['だ', 'の', 'は', '犬', '良い', '誰', '転ん', '鼻']
[[0.         0.35520009 0.35520009 0.49922133 0.49922133 0.         0.         0.49922133]
 [0.49922133 0.35520009 0.35520009 0.         0.         0.49922133 0.49922133 0.        ]]
"""

抽出される「形態素」にほどほどの品詞情報を混ぜれば区別は可能です。要は文字列として異なっていれば良いので。

import MeCab
from sklearn.feature_extraction.text import TfidfVectorizer

def analyzer(s):
    tagger = MeCab.Tagger()
    tagger.parse("")
    node = tagger.parseToNode(s).next
    result = []
    while node.next:
        result.append(node.surface + "\t"
                      + ",".join(node.feature.split(",")[:2]))
        node = node.next
    return result

data = ["犬の鼻は良い", "転んだのは誰"]

tfidf = TfidfVectorizer(analyzer=analyzer)
X = tfidf.fit_transform(data)
print(tfidf.get_feature_names())
print(X.toarray())

""" =>
['だ\t助動詞,*', 'の\t助詞,連体化', 'の\t名詞,非自立', 'は\t助詞,係助詞', '犬\t名詞,一般', '良い\t形容詞,自立', '誰\t名詞,代名詞', '転ん\t動詞,自立', '鼻\t名詞,一般']
[[0.         0.47107781 0.         0.33517574 0.47107781 0.47107781 0.         0.         0.47107781]
 [0.47107781 0.         0.47107781 0.33517574 0.         0.         0.47107781 0.47107781 0.        ]]
"""

---

余談ですが、文字列である必要も実はなく、tupleとかでも問題ないはずです。

import MeCab
from sklearn.feature_extraction.text import TfidfVectorizer

def analyzer(s):
    tagger = MeCab.Tagger()
    tagger.parse("")
    node = tagger.parseToNode(s).next
    result = []
    while node.next:
        result.append((node.surface, *node.feature.split(",")[:2]))
        node = node.next
    return result

data = ["犬の鼻は良い", "転んだのは誰"]

tfidf = TfidfVectorizer(analyzer=analyzer)
X = tfidf.fit_transform(data)
print(tfidf.get_feature_names())
print(X.toarray())

""" =>
[('だ', '助動詞', '*'), ('の', '助詞', '連体化'), ('の', '名詞', '非自立'), ('は', '助詞', '係助詞'), ('犬', '名詞', '一般'), ('良い', '形容詞', '自立'), ('誰', '名詞', '代名詞'), ('転ん', '動詞', '自立'), ('鼻', '名詞', '一般')]
[[0.         0.47107781 0.         0.33517574 0.47107781 0.47107781 0.         0.         0.47107781]
 [0.47107781 0.         0.47107781 0.33517574 0.         0.         0.47107781 0.47107781 0.        ]]
"""