[Google Colab]MeCabでのUnicodeDecodeError

Question

GoogleColabにて以下のコードを実行するとUnicodeDecodeErrorが発生しました。
解決方法などをご教授いただければありがたいです。

!apt install aptitude
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3==0.7


f = open('/content/検索履歴.txt',encoding='UTF-8-SIG')
text = f.read()
f.close()

import MeCab
m = MeCab.Tagger ('-Ochasen')

node = m.parseToNode(text)
words=[]
while node:
    words.append(node.surface)
    node = node.next

「検索履歴.txt」の文字コードについては以下で確認済みです。

import chardet
with open('検索履歴.txt', 'rb') as f:
    print('検索履歴.txt')
    print(chardet.detect(f.read()))

#結果
検索履歴.txt
{'encoding': 'UTF-8-SIG', 'confidence': 1.0, 'language': ''}

エラー内容はこちらです。

UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-38-23e2e29d0c41> in <module>()
     14 words=[]
     15 while node:
---> 16     words.append(node.surface)
     17     node = node.next

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 0: invalid start byte

Answer 1

こんばんは。

問題文読ませていただきました。

こちらあたりの記事を確認すると、

・https://www.koichihori.tech/mecab_unicode_jp.html
・https://qiita.com/kasajei/items/0805b433f363f1dba785

m = MeCab.Tagger('-Ochasen')
# 追加
m.parse("")

とするとうまくいきそうです。

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[52kkp]

ご回答ありがとうございます！
以前もお世話になりました。
追加すると上手く動作しました。
色々検索してみましたが、こんな的確な答えのページにたどり着けなかった私の検索力が低いのも問題ですね･･･

[退会済みユーザー]

いえいえ。

うまくいってよかったです。検索力は時間をかけていくと慣れてくると思いますので、焦らずじっくりと経験を積んでいきましょう！

Enjoy!!!

Answer 2

わざわざ0.7と古いバージョンを指定しているので、古いバグが残ったままなのです。
なぜ0.7を指定したんでしょう?

---

アドホックに解決するなら、TeratailでparseToNode UnicodeDecodeErrorと検索して、トップに出てくる質問からたどった
https://qiita.com/kasajei/items/0805b433f363f1dba785
の通りに、parseToNodeの前に

mecab.parse("")

を1回実行しておけばエラーはなくなるはずです。

Comments

[52kkp]

ご回答ありがとうございます！
追加してみるとうまく動作しました。
参考にした方のコードでは旧バージョンを使用していたためです。
最新Verにして確認もしてみます。