Rのldaパッケージのエラーでmust be non-negative and less than the number of words はなんでしょうか

Question

今回はldaパッケージのlda.collapsed.gibbs.sampler()というメソッドを使っています。
今回自分で作成したパラメータはdocumentsとvocabです。documentsとvocabはサンプルと同じ型で同じように作成したのですが、下のようなエラーが出てきました。どうしてでしょうか。

パッケージLDAの説明サイト

コード
result <- lda.collapsed.gibbs.sampler(documents, k, vocab,
                                      25,  # 繰り返し数
                                      0.1, # ディリクレ過程のハイパーパラメータα
                                      0.1, # ディリクレ過程のハイパーパラメータη
                                      compute.log.likelihood=TRUE)

エラー内容
 structure(.Call("collapsedGibbsSampler", documents, as.integer(K),  でエラー: 
  Word (251) must be non-negative and less than the number of words (251).

もしわかる方がいらっしゃいましたら教えていただけないでしょうか。

解答をいただいて

解答していただきありがとうございました。
そこで

という簡単なもので試してみました。これですと、vocabもインデックスは9までで、documentsの方もインデックス９までしか使用していないのですが、同じエラーが出力されました。

エラー内容
structure(.Call("collapsedGibbsSampler", documents, as.integer(K),  でエラー: 
  Word (9) must be non-negative and less than the number of words (9).

試したこと
それから先ほど試したこととしてはlda.collapsed.gibbs.sampler()メソッドの中にあるlengthsという変数の中にしっかりと単語の数が入っているかどうか調べるために、その部分を自分のコードの方にコピペして試したところしっかりと単語数が入っていました。

それからtypeofでも調べてみましたが、しっかりと型が揃っていました。

Answer 1

documentsにでてくる単語のナンバリングがvocabの数未満じゃないとダメみたいです。

vocab <- c("i","have","pen",".","you","are","dog","love","japan")
k <- 10

#成功例
d2 <- list(matrix(c(1:4,rep(1,4)),2,4, byrow=T),matrix(c(5:7,rep(1,3)),2,3, byrow=T),matrix(c(1,8,0,rep(1,3)),2,3, byrow=T))
documents <- lapply(d2, function(x){ matrix(as.integer(x), 2)})
documents

result <- lda.collapsed.gibbs.sampler(documents, k, vocab,
                                      25,  # 繰り返し数
                                      0.1, # ディリクレ過程のハイパーパラメータα
                                      0.1, # ディリクレ過程のハイパーパラメータη
                                      compute.log.likelihood=TRUE)

max(unique(unlist(documents)))
length(unique(unlist(documents)))
length(vocab)

#失敗例１
d2 <- list(matrix(c(1:4,rep(1,4)),2,4, byrow=T),matrix(c(5:7,rep(1,3)),2,3, byrow=T),matrix(c(1,8,9,rep(1,3)),2,3, byrow=T))
documents <- lapply(d2, function(x){ matrix(as.integer(x), 2)})
documents

result <- lda.collapsed.gibbs.sampler(documents, k, vocab,
                                      25,  # 繰り返し数
                                      0.1, # ディリクレ過程のハイパーパラメータα
                                      0.1, # ディリクレ過程のハイパーパラメータη
                                      compute.log.likelihood=TRUE)
max(unique(unlist(documents)))
length(unique(unlist(documents)))
length(vocab)

#失敗例２
d2 <- list(matrix(c(1:4,rep(1,4)),2,4, byrow=T),matrix(c(5:7,rep(1,3)),2,3, byrow=T),matrix(c(9,9,9,rep(1,3)),2,3, byrow=T))
documents <- lapply(d2, function(x){ matrix(as.integer(x), 2)})
documents

result <- lda.collapsed.gibbs.sampler(documents, k, vocab,
                                      25,  # 繰り返し数
                                      0.1, # ディリクレ過程のハイパーパラメータα
                                      0.1, # ディリクレ過程のハイパーパラメータη
                                      compute.log.likelihood=TRUE)

max(unique(unlist(documents)))
length(unique(unlist(documents)))
length(vocab)

Comments

[oika77]

本当に本当にありがとうございました。解決しました。エラー内容を調べてもなかなか理解できるものがなかったので、どうしようかと思っていました。

Answer 2

vocabの数がdocumentsにでてくる単語の種類の数より少ないとダメみたいです。

#サンプルデータの読み込み
library(lda)
data(cora.documents)
data(cora.vocab)
k <- 10

#成功例
result <- lda.collapsed.gibbs.sampler(cora.documents, 
                                      k,
                                      cora.vocab,
                                      25,
                                      0.1,
                                      0.1,
                                      compute.log.likelihood=TRUE)

length(unique(unlist(cora.documents)))
length(cora.vocab)

#vocabの単語数が少ないとダメ
vocab1　<- cora.vocab[1:2960]
result <- lda.collapsed.gibbs.sampler(cora.documents, 
                                      k,
                                      vocab1,
                                      25,
                                      0.1,
                                      0.1,
                                      compute.log.likelihood=TRUE)

length(unique(unlist(cora.documents)))
length(vocab1)

#vocabの単語数が多いぶんにはok
vocab2 <- c(cora.vocab,"rdgfsfgf")
result <- lda.collapsed.gibbs.sampler(cora.documents, 
                                      k,
                                      vocab2,
                                      25,
                                      0.1,
                                      0.1,
                                      compute.log.likelihood=TRUE)

length(unique(unlist(cora.documents)))
length(vocab2)

Comments

[oika77]

解答いただき本当にありがとうございました。ただいま調べてみたところdocumentsの１行目の単語のインデックスの数とvocabのインデックスは揃えていましたが、エラーが出てしまいました。上の質問内容も編集しました。もしまた何かわかることがありましたら、よろしくお願いいたします。