gensimを用いたtfidf処理について

Question

gensimを用いてtfidf処理を行おうとしたら、エラーがでます

以下にエラー箇所とエラー文を示します

gensim_dictionary = corpora.Dictionary(doc_nltk)

------------------------------------------------------------
Traceback (most recent call last):
  File "tfidf_gensim_hyouka.py", line 71, in <module>
    tfidf()
  File "tfidf_gensim_hyouka.py", line 34, in tfidf
    gensim_dictionary = corpora.Dictionary(doc_nltk)
  File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\corpora\dictionary.py", line 58, in __init__
    self.add_documents(documents, prune_at=prune_at)
  File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\corpora\dictionary.py", line 119, in add_documents
    self.doc2bow(document, allow_update=True)  # ignore the result, here we only care about updating token ids
  File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\corpora\dictionary.py", line 141, in doc2bow
    raise TypeError("doc2bow expects an array of unicode tokens on input, not a single string")
TypeError: doc2bow expects an array of unicode tokens on input, not a single string

doc_nltkというのは
['grab', 'briskly', 'slimmer', 'supervisor', 'crowded', …　以下略　…]
のような配列になっています

これは、このような一次元配列ではできないということですか？

一次元配列で処理を行うにはどうすればよいでしょうか

Answer 1

ここにも書きましたが、

API Document に

"ドキュメントのコレクションから辞書を更新します。各ドキュメントはトークンのリストです" (Update dictionary from a collection of documents. Each document is a list of tokens.

とあります。
つまりcorpora.Dictionary() に渡すデータは「トークンリストの（ドキュメントごとの）リスト」となります。

今回の場合は、１つのドキュメントのトークンリストを渡してますので、

dictionary = corpora.Dictionary([doc_nltk])

としてください。

Comments

[kohekoh]

なりました！
なりましたが
つぎに
corpus = [gensim_dictionary.doc2bow(sentence) for sentence in doc_nltk]
ここで、エラーをはいてしまって
先と同じ要領で[doc_nltk]にして実行すると
実行はできるのですが
結果が
[]
になってしまいました
これはどういうことなのでしょうか

[magichan]

遅くなりました
とりあえず、doc_nltk の値を確認してみてはいかがでしょうか。
こちらで検証したところ、

from gensim import corpora
doc_nltk = ['grab', 'briskly', 'slimmer', 'supervisor', 'crowded']
dictionary = corpora.Dictionary([doc_nltk])
corpus = [dictionary.doc2bow(sentence) for sentence in [doc_nltk]]
print(corpus)

で問題なく動作しております

[kohekoh]

そこのときは入ってるみたいです…
そのあとに
tfidf_model = models.TfidfModel(corpus)
corpus_tfidf = tfidf_model[corpus]
このような処理をして、
print(tfidf_model)をしたときに
TfidfModel(num_docs=1, num_nnz=6853)
のようになりますが
print(corpus_tfidf)のときに
[]
のようになります

[kohekoh]

print(corpus_tfidf)ではなくて
for a in corpus_tfidf:
print(a)
です

[magichan]

それは単にモデル生成時に、１つのdocumentからのcorpusしか与えていないからではないでしょうか。
https://radimrehurek.com/gensim/models/tfidfmodel.html
を見ると、gensim での TF-IDFの計算は
weight_{i,j} = frequency_{i,j} * log_2(D / document_freq_{i})
となっており、D=1 の場合は 0 以外の結果が得られない気がします。

[kohekoh]

なるほど…
ありがとうございます