LDAモデルのperplexityの評価について

いつもお世話になっていおります。
###前提・実現したいこと
ただいま、python gensimを使用してLDAモデルを作成しております。
適したトピック数を決めるため、perplexityを見て評価しようと考えております。

###発生している問題・エラーメッセージ
gensim のAPIを参照したところ、
log_perplexity(chunk, total_docs=None)
というそれらしい関数が引っかかり、この関数を使用してどうにか実行してみようと思ったのですが、うまくいきません。

エラーメッセージ
AttributeError: 'module' object has no attribute 'log_perplexity'

このエラー自体は、「そんな関数ないよ」のようなことを言われているのかな…？と思いますが、入れるべき引数等分からないことが多く、困っております。

該当するコード
lda = gensim.models.ldamodel.LdaModel(corpus = corpus, num_topics = 40, id2wor\
d=corpus.id2word, minimum_probability = 0.0)

per = gensim.models.ldamodel.log_perplexity(lda, total_docs = None)

助言いただければ幸いです。
よろしくお願いいたします。

追記

現在のコード
#!/usr/bin/python
# -*- coding: utf-8 -*-
import codecs
import gensim

# Lowcorpusメソッドで、テキストファイルを読み込み
corpus = gensim.corpora.lowcorpus.LowCorpus('sample_wakachi_100_w.txt')
f0 = codecs.open('per_40_sample_corpus.txt', 'w', 'utf-8')
f0.write(str(corpus))
f0.close()

# gensim の LdaModelメソッドに生成した corpus を渡して、LDAモデルを生成
lda = gensim.models.ldamodel.LdaModel(corpus = corpus, num_topics = 40, id2word\
=corpus.id2word, minimum_probability = 0.0)

per = lda.log_perplexity(corpus, total_docs = None)

f1 = codecs.open('per_40_per.txt', 'w', 'utf-8')
f1.write(str(per))
f1.close()

-6.71820347253

行動規範の内容に同意します

回答1件

ベストアンサー

gensimの処理内容については不勉強なので、どのような引数を渡せばよいのかは私にはアドバイスできませんが。

log_perplexityはmodels.ldamodelのクラスメソッドなのでlda.log_perplexity(...)と呼び出します。

投稿2017/07/27 07:22

can110

総合スコア38266

ode

2017/07/27 07:31

ご回答ありがとうございます。変更いたしましたところ、また違うエラーが出ました。 File "lda_per.py", line 21, in <module> f1.write(per) File "/usr/local/lib/python2.7/codecs.py", line 706, in write return self.writer.write(data) File "/usr/local/lib/python2.7/codecs.py", line 369, in write data, consumed = self.encode(object, self.errors) TypeError: coercing to Unicode: need string or buffer, numpy.float64 found