cannot compute lda over an empty collection (no terms)

Question

LDAを実行したいのですが
以下のエラーが表示されます。何が原因か教えてください。

やりたいことのイメージとしては、フォルダの各テキストファイルのトピックを知りたいといった感じです。

ソースコードは以下の通りです(LDA.py)。

import os
import codecs as cd
import gensim
from janome.tokenizer import Tokenizer
from gensim import corpora, models, similarities

folder = 'aaa'
filenames = os.listdir(folder)
for filename in filenames :
    datafile = open(folder+'/'+filename, encoding='utf-8')
    lines = datafile.readlines()

t = Tokenizer()
wvs = []

for i, line in enumerate(lines):
    word_vector = []

   
    if len(line)<30:
        continue
    else:
        tokens = t.tokenize(line)
 
    for token in tokens:
        if token.part_of_speech[:2] == '名詞':
            word_vector += [token.base_form]

    
    wvs += [word_vector]

dictionary = corpora.Dictionary(wvs)
dictionary.filter_extremes(no_below=2, no_above=0.3)
dictionary.save_as_text('dict.txt')


corpus = [dictionary.doc2bow(text) for text in wvs]
corpora.MmCorpus.serialize('cop.mm', corpus)


dictionary = gensim.corpora.Dictionary.load_from_text('dict.txt')
corpus = corpora.MmCorpus('cop.mm')


topic_N = 20
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, num_topics=topic_N, id2word=dictionary)

for i in range(topic_N):
    print('TOPIC:', i, '__', lda.print_topic(i))

環境はwindows10,ubuntu16.04です。

Comments

[mkgrei]

エラーメッセージの全文を貼り付けていただけませんか。どこでエラーが起きているのか人で確かめるのは大変です。またコードを```で囲んでください。インデントが崩れて読めません。

Answer 1

corpus = corpora.MmCorpus('cop.mm')

topic_N = 20
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, num_topics=topic_N, id2word=dictionary)

理由はわかるのですが、データが無いので修正の仕方はわかりません。
上記のコードのところでcorpusが空だと、エラーが再現できます。

---

追記

import os
import codecs as cd
import gensim
from janome.tokenizer import Tokenizer
from gensim import corpora, models, similarities

folder = 'aaa'
filenames = os.listdir(folder)
lines = []
for filename in filenames :
    with open(folder+'/'+filename, encoding='utf-8') as datafile:
        lines += datafile.readlines()

Comments

[grx72expo]

回答ありがとうございます。
corpusが空とはどういうことでしょうか？申し訳ございませんがご教授願います。
あと、dictionary.filter_extremes(no_below=2, no_above=0.3)
を削除したら実行できたのですが、これはテキストデータが少ないことが原因なのでしょうか？

[mkgrei]

そちらのdictionaryに中身がなくても同じエラーになるのですね。
その条件を満たす要素がなかったせいですね。

[grx72expo]

dictionaryの中身を確認したら、フォルダ内の1つ目のテキストファイルしか処理されていませんでした。
フォルダの全テキストファイルを処理するにはどの個所を修正したらよいのでしょうか？
何度もすいませんがよろしくお願いします。

[mkgrei]

lines = datafile.readlines()
が書き換わっているからです。

[grx72expo]

もう少し具体的に修正方法を書いていただけると助かります。

[can110]

実際に動かしてみる（print(lines)してみる）と一目瞭然かと思いますが？

[grx72expo]

すみません。テキストファイルを1文ごとに改行したら実行できました。

[grx72expo]

何度もすみません。できたと思ったのですが、今度はフォルダ内の最後のファイルしか実行されていませんでした。

[mkgrei]

追記しました。