pythonのコードについてです
python
1from gensim import corpora, models 2 3#辞書をロード 4corpora.Dictionary.load_from_text('deerwester.dict') 5#コーパスをロード 6corpus = corpora.MmCorpus('deerwester.mm') 7 8#tfidf処理 9tfidf = models.TfidfModel(corpus) 10corpus_tfidf = tfidf[corpus] 11 12# 折角計算したのでpickleに保存 13import pickle 14with open('corpus_tfidf.dump', mode='wb') as f: 15 pickle.dump(corpus_tfidf, f) 16 17# 次回からはロードできます 18# with open('./data/corpus_tfidf.dump', mode='rb') as f: 19# corpus_tfidf = pickle.load(f) 20 21#ldaやっちゃうよ 22lda = models.LdaModel(corpus=corpus_tfidf, id2word=dictionary, 23 num_topics=3, minimum_probability=0.001, 24 passes=20, update_every=0, chunksize=10000) 25lda.save('lda.model') # 保存 26
このコードを実行すると
python
1Traceback (most recent call last): 2 File "lda.py", line 4, in <module> 3 corpora.Dictionary.load_from_text('deerwester.dict') 4 File "C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\corpora\dictionary.py", line 346, in load_from_text 5 line = utils.to_unicode(line) 6 File "C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\utils.py", line 231, in any2unicode 7 return unicode(text, encoding, errors=errors) 8UnicodeDecodeError: 'utf-8' codec can’t decode byte 0x80 in position 0: invalid start byte
このようなエラーが出力されます
そうすればよいでしょうか
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/06/10 00:02
2017/06/10 00:07