pythonのコードについて

Question

pythonのコードについてです

from gensim import corpora, models

#辞書をロード
corpora.Dictionary.load_from_text('deerwester.dict')
#コーパスをロード
corpus = corpora.MmCorpus('deerwester.mm')

#tfidf処理
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]

# 折角計算したのでpickleに保存
import pickle
with open('corpus_tfidf.dump', mode='wb') as f:
    pickle.dump(corpus_tfidf, f)

# 次回からはロードできます
# with open('./data/corpus_tfidf.dump', mode='rb') as f:
#     corpus_tfidf = pickle.load(f)

#ldaやっちゃうよ
lda = models.LdaModel(corpus=corpus_tfidf, id2word=dictionary,
                             num_topics=3, minimum_probability=0.001,
                             passes=20, update_every=0, chunksize=10000)
lda.save('lda.model')  # 保存

このコードを実行すると

Traceback (most recent call last):
  File "lda.py", line 4, in <module>
    corpora.Dictionary.load_from_text('deerwester.dict')
  File "C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\corpora\dictionary.py", line 346, in load_from_text
    line = utils.to_unicode(line)
  File "C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\lib\site-packages\gensim\utils.py", line 231, in any2unicode
    return unicode(text, encoding, errors=errors)
UnicodeDecodeError: 'utf-8' codec can’t decode byte 0x80 in position 0: invalid start byte

このようなエラーが出力されます

そうすればよいでしょうか

Answer 1

deerwester.dictの文字コードがutf-8でないか、ファイルが壊れているんじゃないでしょうか。

Comments

[kohekoh]

deerwester.dictの文字コードがutf-8でない場合、どうすればよいですか？

[yukkeorg]

エディタの文字コード変換機能やiconv、nkfなどの文字コード変換コマンドを使って変換してください。