tf-idf値の高い単語を降順に抽出したい

Question

前提・実現したいこと

tf-idf値の高い単語を降順に抽出したい

プログラミング初心者です。
下記のコードによりtf-idf計算自体は（おそらく）出来ているとは思うのですが、この先のtf-idf値の高い単語を表示する方法が分かりません。
どなたかご教授いただけると幸いです。

該当のソースコード

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import TruncatedSVD
from sklearn.preprocessing import Normalizer

def tf(doc):
    vectorizer = CountVectorizer(token_pattern=u'(?u)\b\w+\b')
    features = vectorizer.fit_transform(doc)
    terms = vectorizer.get_feature_names()

    return features, terms

def tfidf(docs_list):
#docs_listは複数の文章の入れ子構造リストです。

    vectorizer = TfidfVectorizer(min_df=1, max_df=50, token_pattern=u'(?u)\b\w+\b')
    features = vectorizer.fit_transform(docs_list)
    terms = vectorizer.get_feature_names()

    return features, terms

def reduction(x, dim=10):

    '''
    dimensionality reduction using LSA
    '''
    lsa = TruncatedSVD()
    x = lsa.fit_transform(x)
    x = Normalizer(copy=False).fit_transform(x)

    return x

if __name__ == '__main__':
    docs_list = [clu1,clu2,clu3,clu4,clu5]
    docs_list = [' '.join(d) for d in docs_list]
    features, terms = tfidf(docs_list)
    features, terms = tfidf(docs_list)
    features = reduction(features, dim=2)

Answer 1

tf-idf値の高い単語を表示する

文書毎にということでしょうか。

featuresの各行が文書に対応しますから、基本的な考え方としては

for doc in features.toarray():  # 一行ずつ処理するなら疎行列型よりこっちの方が都合がいいので
    idx = np.argsort(doc)[::-1]
    for i in idx:
        print(terms[i])

という具合でしょう。あとはいくらでも都合のいいようにいじってください。

Comments

[manahy]

clu0=['単語1','単語2'....,'単語n']
docs_list = [clu0,clu1,clu2,clu3,clu4,clu5]
となっており、求めたいのはclu0～clu5のtfidf値が高い単語です。
説明不足で申し訳ありません。

上記のコードを実行すると
AttributeError: 'numpy.ndarray' object has no attribute 'toarray'となります...。

[hayataka2049]

features = reduction(features, dim=2)
のコードを残しているなら消すか、結果を格納する変数の名前を変えてください。

[manahy]

無事動きました。
これはdocs_list全体のtf-idf値ということですよね。
clu0～clu5のそれぞれで算出することは可能でしょうか...？
質問ばかりで申し訳ありません。。。

[hayataka2049]

それぞれで算出されています。

[manahy]

ありがとうございます、出すことができました！