pythonの文字コード系のエラーで困っています。

Question

###前提・実現したいこと
自然言語処理のプログラムをpythonで書いています。エラーを消したいです。

###発生している問題・エラーメッセージ
エラーは文字コード関連です。ちなみにこのエラーは何度も実行しているとたまにエラーが出ないでプログラムが動くことがあります。

line 115, in tokenize
    yield node.surface.lower()
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1-2: invalid continuation byte

###該当のソースコード

def tokenize(self,text):#形態素解析して名詞だけ取り出す

        sentence = str(text)
        node = self.mecab.parseToNode(sentence)

        while node:
            if node.feature.split(',')[0] == '名詞':
                yield node.surface.lower()
            node = node.next

###試したこと
エンコードやデコードを試しましたが無理でした。それに、何回か実行すれば通ってしまうことがあるのが不思議です。

###補足情報(言語/FW/ツール等のバージョンなど)
使っているバージョンはpython3.6.1です。
OSはMacのSierraです。

Answer 1

もしかしたら、下記と同じ現象かも知れません。

Caught UnicodeDecodeError when use parseToNode alone · Issue #3 · SamuraiT/mecab-python3
mecab-python3でUnicodeDecodeErrorがでる - Qiita

Qittaの記事に回避方法が書かれていますので、試して見て下さい。

Comments

[_Victorique__]

解決しました。本当にありがとうございました！