Perplexityの値がトピック数を増やすと大きくなってしまう問題

Question

この参考サイトに書かれているPerplexityをそのままやっているのですが、出力がなんだか変です。

通常トピック数が大きくなると、Perplexityの値も小さくなっていくはずなのですが、自分のデータでは大きくなってしまいます。
何が問題なのでしょうか。

実際500ぐらいまでは上昇し続けました。

Answer 1

参考サイトの文を読むと「最小のPerplexityを与えるトピック数 k を求めてみる」と書いてあるので、むしろこれが望ましい結果なのではないでしょうか。
参考サイトでは、"期待に反して"「500に到達しても最小には達せず、引き続き減少傾向」になったということだと思います。
参考サイトからリンクされているstackoverflowの質問でも、トピック数100までは減少して、それ以降は上昇に転じている感じです。
https://stackoverflow.com/questions/21355156/topic-models-cross-validation-with-loglikelihood-or-perplexity

Comments

[oika77]

ありがとうございます。