python gensim のパラメータについて

Question

いつもお世話になっております。

ただいま、python gensimを使用してあるデータに対してLDAをかけています。

http://qiita.com/HirofumiYashima/items/c8aa8df214d48c86ecba
私がしようとしていたことを写経してされていた方がいらっしゃったので、そのまま実行しました。その結果同じ結果が得られてとてもよかったのですが、

各トピックにおける各トークンの出現確率を表示する過程で、単語と出現確率が10個までしか表示されていません。この部分をより多く出現させることは可能なのでしょうか？
gensimのAPIを見てみたのですが、よく分からず…。

また、各文書ごとの推定トピックを出力する過程でも、各文書の推定の確信度が１でないことを疑問に思っております。

どうか助言いただけないでしょうか？

Answer 1

https://github.com/RaRe-Technologies/gensim/blob/develop/gensim/models/ldamodel.py#L764

for topic in lda.show_topics(-1, num_words=20):
    print(topic)

とかでいいんじゃないでしょうか。動かしてはいませんが。

また、各文書ごとの推定トピックを出力する過程でも、各文書の推定の確信度が１でないことを疑問に思っております。

確信度が1になったらバグを疑うような挙動と思いますが……

Comments

[ode]

ご回答ありがとうございます。
単語数を増やすことができました。

それとなぜ確信度が１になるとよくないのでしょうか？
勉強不足で申し訳ありません。

[quickquip]

LDAの式として1に推定されるなんてことがありえますか?
という話がひとつ。

あと、推定のプログラム全般の話として、それがたとえ学習につかっているデータであっても推定の結果が1になるようなら、なんらかのバグか、過学習を疑うべき状況だと思います。

[quickquip]

LDAでいえば、確信度が1という状況は、ある文書があるトピックAに属しているとして、その文章に登場する（足切り後に残った）*すべての* 単語が、トピックAの文書にしか出てこなくて、他のトピックには *一切登場していない* という状況です。
そんなことがありえますか?

もしそんなことになったら、
足切りを間違えてほんの少しの語しか残ってない
とか
文書Aに属する単語がトピックA以外のトピックに属する確率が0になるような間違った更新をしてしまった
とか
そういう事態を疑う方が先でしょう、ということです。

[ode]

お返事が遅れてしまって大変申し訳ありません。
詳しくありがとうございます。
１にならないことは理解できました。
またひとつ疑問ができたのですが、
一つの発話に対して一つのトピックの確信度が表示されていますが、
一つの発話に対して、各トピックごとの確信度を出すことはできないのでしょうか？

[quickquip]

show_topicsの第1引数に-1を指定すると全トピックが表示されていますよね?

[ode]

すみません。解決致しました。
ありがとうございました。