MeCabをpython3で使いたいが 'utf-8' codec can't decode 'utf-8' codec can't decodeというエラーが出てしまう

Question

https://qiita.com/nkjm/items/913584c00af199794257
上のリンクの手順どうりにMEcabをインストールして、pip3 install mecab-python3をpython3で

import MeCab

mecab = MeCab.Tagger("-Ochasen")

print(mecab.parse("ダックスフンドが歩いている。"))

としたところ'utf-8' codec can't decode bytes in positionというエラーが出てしまいました。どなたかご教授お願い致します。

回答ありがとうございます。
[~] mecab -D 13:23:03
filename: /usr/local/mecab/lib/mecab/dic/ipadic/sys.dic
version: 102
charset: utf8
type: 0
size: 392126
left size: 1316
right size: 1316

[~] mecab -P 13:24:06
bos-feature: BOS/EOS,,,,,,,,
bos-format:
config-charset: EUC-JP
cost-factor: 700
dicdir: /usr/local/mecab/lib/mecab/dic/ipadic
dump-config: 1
eon-format:
eos-format: EOS\n
eos-format-chasen: EOS\n
eos-format-chasen2: EOS\n
eos-format-simple: EOS\n
eos-format-yomi: \n
eval-size: 8
lattice-level: 0
max-grouping-size: 24
nbest: 1
node-format: %m\t%H\n
node-format-chasen: %m\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-chasen2: %M\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-simple: %m\t%F-[0,1,2,3]\n
node-format-yomi: %pS%f[7]
theta: 0.75
unk-eval-size: 4
unk-format: %m\t%H\n
unk-format-chasen: %m\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-chasen2: %M\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-yomi: %M

[~] echo ダックスフンドが歩いている。 |mecab -Ochasen 13:24:13
ダックスフンド ダックスフンド ダックスフンド 名詞-一般
が ガ が 助詞-格助詞-一般
歩い アルイ 歩く 動詞-自立 五段・カ行イ音便 連用タ接続
て テ て 助詞-接続助詞
いる イル いる 動詞-非自立 一段 基本形
。 。 。 記号-句点
EOS

import sys
sys.getdefaultencoding()
'utf-8'

となりました他に考えられる原因はありますでしょうか？
宜しくお願い致します

Answer 1

MeCabではなくjanomeを使ってはいかがでしょうか？
janomeはMeCabから作られたpython用のモジュールだったはずなので
そちらの方が楽に使えるかと

Answer 2

下記リンクを参考に、

mecab = MeCab.Tagger("-Ochasen")
mecab.parse('')

を追加してみてはいかがでしょうか？

http://tokyo-engineer.com/python3-mecab-unicodedecodeerror/

Comments

[退会済みユーザー]

解決できませんでした泣

Answer 3

掲載されているURL通りにやったのなら基本的には問題ないはずです。一応ソースコードの文字コードがUTF-8であることと、sys.getdefaultencoding()でデフォルトエンコーディングがUTF-8になっていることを確認してください。

問題なさそうなら、この問題に引っかかったのかもしれません。

mecab-python3でUnicodeDecodeErrorがでる- Qiita

直し方
先にmecab.parse("")をやっておく

Comments

[退会済みユーザー]

utf-8であることは確認できましたが、その方法でも解決できませんでした。

[hayataka2049]

あらら・・・ちょっと考えてみます。MeCabがシェルでちゃんとUTF-8で使えることも確認するべきかもしれません

[退会済みユーザー]

質問に情報を追加しましたので、そちらも見ていただけると幸いです。丁寧にご対応いただきありがとうございます。とても助かります。

[hayataka2049]

よかった、原因がたぶんわかりました。「config-charset: EUC-JP」の行がダメなので、ここがUTF-8になるようにインストールし直してください

[退会済みユーザー]

私もそう思い、直そうと思ったのですが、インストールの段階で文字コードはUTF-8に設定しているのですが、config-charsetは変更されません。config-charsetを変更するにはどのような手順を踏めば良いのでしょうか？

[hayataka2049]

本体のインストール時に --with-charset=utf8を指定してますか？　--enable-utf8-onlyだけだとダメだったりするのかも（確認はしてないです）

[退会済みユーザー]

結局うまくいかず、https://qiita.com/musaprg/items/9a572ad5c4e28f79d2aeの記事を参考にして解決しました。丁寧に対応してくださり、本当にありがとうございました。また何かあればよろしくお願い致します。

[hayataka2049]

あまりお力になれなくてすみませんでした。brewで入れたら動きましたか。何はともあれ上手く行ってよかったです