tf-idfを用いて、重要度の低い単語をデータ内から削除したい

Question

tf-idfを用いて、重要度の低い単語*をリスト内から削除したいのですが、そのままだとおそらくTfidfVectorizerにリスト型を放り込めないらしくエラーが出てしまいます。
以下が問題のコードになります。

＊リスト内には複数の文書があり、全体の中で頻出していることから重要度が低いと判断できる単語を削除したいという狙いです。

import janome
from gensim.models.doc2vec import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
from collections import OrderedDict
from janome.tokenizer import Tokenizer
import re
import time
from tqdm import tqdm
import glob
import collections
import pandas as pd
import MeCab
import math
import pandas as pd
import codecs 

with codecs.open("タイトルと冒頭一覧.csv", "r", "Shift-JIS", "ignore") as file:
    df = pd.read_table(file, delimiter=",")

#文章から単語を抽出する関数
def words(text):
    """
        文章から単語を抽出
    """
    out_words = []
    
    tagger = MeCab.Tagger('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/')
    tagger.parse('')
    node = tagger.parseToNode(text)

    while node:
        word_type = node.feature.split(",")[0]
        if word_type in ["動詞","形容詞","名詞"]:
            out_words.append(node.surface)
        node = node.next
    return out_words

#学習に使うタイトル
training_docs = []
for i,dd in tqdm(df.iterrows()):
    #print(dd["ID"],dd["title"])
    training_docs.append(TaggedDocument(words=words(dd["titlebeginning"]), tags=[dd["ID"]]))


#エラーが出てしまう問題箇所
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer

for i in range(0,len(df)):
    vectorizer = TfidfVectorizer(use_idf=True, token_pattern=u'(?u)\b\w+\b')
    tf_idfs = vectorizer.fit_transform(training_docs)
    print(tf_idfs)

以上の処理を行い、最終的には、以下のコードにtf-idf処理を施して重要度の低い単語を除いたtraining_docsを代入したいのですが、どのようにしたら良いのでしょうか。
何卒よろしくお願い致します。

# min_count=1:最低1回出現した単語を学習に使用
# dm=0: 学習モデル=DBOW
model = Doc2Vec(documents=training_docs, min_count=1, dm=0)
model.docvecs.similarity(0,1551)

エラー内容

AttributeError                            Traceback (most recent call last)
<ipython-input-32-a49b5702c1c0> in <module>()
      4 for i in range(0,len(df)):
      5     vectorizer = TfidfVectorizer(use_idf=True, token_pattern=u'(?u)\b\w+\b')
----> 6     tf_idfs = vectorizer.fit_transform(training_docs)
      7     print(tf_idfs)

~/anaconda3/envs/kenkyuu/lib/python3.6/site-packages/sklearn/feature_extraction/text.py in fit_transform(self, raw_documents, y)
   1379             Tf-idf-weighted document-term matrix.
   1380         """
-> 1381         X = super(TfidfVectorizer, self).fit_transform(raw_documents)
   1382         self._tfidf.fit(X)
   1383         # X is already a transformed view of raw_documents so

~/anaconda3/envs/kenkyuu/lib/python3.6/site-packages/sklearn/feature_extraction/text.py in fit_transform(self, raw_documents, y)
    867 
    868         vocabulary, X = self._count_vocab(raw_documents,
--> 869                                           self.fixed_vocabulary_)
    870 
    871         if self.binary:

~/anaconda3/envs/kenkyuu/lib/python3.6/site-packages/sklearn/feature_extraction/text.py in _count_vocab(self, raw_documents, fixed_vocab)
    790         for doc in raw_documents:
    791             feature_counter = {}
--> 792             for feature in analyze(doc):
    793                 try:
    794                     feature_idx = vocabulary[feature]

~/anaconda3/envs/kenkyuu/lib/python3.6/site-packages/sklearn/feature_extraction/text.py in <lambda>(doc)
    264 
    265             return lambda doc: self._word_ngrams(
--> 266                 tokenize(preprocess(self.decode(doc))), stop_words)
    267 
    268         else:

~/anaconda3/envs/kenkyuu/lib/python3.6/site-packages/sklearn/feature_extraction/text.py in <lambda>(x)
    230 
    231         if self.lowercase:
--> 232             return lambda x: strip_accents(x.lower())
    233         else:
    234             return strip_accents

AttributeError: 'TaggedDocument' object has no attribute 'lower'

こちらが問題のファイルになります

Comments

[hayataka2049]

エラーの内容を追記してください

[James1201]

すみません。最終行の表記に訂正がありました。
エラー内容とともに修正させていただきます...!

Answer 1

TfidfVectorizer.fit_transformの引数は文字列のリストにすれば良いです。

sklearn.feature_extraction.text.TfidfVectorizer — scikit-learn 0.19.1 documentation

ただし、デフォルトのanalyzerが英語用なので、日本語用のanalyzerをanalyzer引数に指定してやる必要があります。これは文字列を受け取って単語のリストを返すような関数にしてやる必要がありますが、幸いwords関数がそんな機能なので、そのまま使えると思います。

doc2vec用のTaggedDocumentの生成でも同じ処理をしているので計算が無駄だと思うなら、analyzerにはlambda x:xのようなものを渡して実質的に機能を殺してやり、fit_transformには

[doc.words for doc in training_docs]

を渡してやれば良いはずです。

Comments

[James1201]

回答ありがとうございます。
無事、fit_transformに渡してtfidf値を出せたのですが、これをもとにtraining_docsに質問文のようなフィルター処理を行うにはどのようにすれば良いのでしょうか...

[hayataka2049]

各文書のtfidfベクトルから、下位n件を捨てる、しきい値th以下を捨てるみたいな感じでやればよいかと。そんな方針で、np.argsortとか使って、TfidfVectorizerのvocabulary_属性と突き合わせれば使うべき単語のリストを作れるので、あとはそれを使ってフィルタ
そうするとtfidf計算をループさせている意味がまったくないのと、TaggedDocumentにする処理もフィルタかけてから作れば良いので下でやることになって、プログラムは全面的に書き換えることになりますね…

[hayataka2049]

あと、TfidfVectorizerのmin_dfを適当に指定しないと、「その文書にだけやたら出現する」みたいな単語ばっかり拾っちゃうとか、いろいろ考えるべきことはあります

[James1201]

ありがとうございます。
すみません、もう少し回答を集めさせてください・・・！