MeCabで追加したユーザー辞書が反映されない

Question

##現象
windows10でjupyternotebookを利用しています。
１．mecabのipadic配下にuserdicフォルダを作成し、コンパイルしたuserdic.dicを格納
２．mecabrcにuserdicを記載

;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;
dicdir =  $(rcpath)..\dic\ipadic

userdic = C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic

; output-format-type = wakati
; input-buffer-size = 8192

; node-format = %m\n
; bos-format = %S\n
; eos-format = EOS\n

３．jupyternotebookで辞書の反映を試みるも反映されていない

import MeCab
mecab = MeCab.Tagger(r'-d C:\Users\username\Documents\Tool\MeCab\dic\ipadic -u C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic')

##試したこと
コマンドプロンプトでmecab textを辞書の反映は確認できました。
jupyternotebook上に反映されない原因として何が考えられるでしょうか。
よろしくお願い致します。

C:\Users\username>echo "駿台模試と全統模試どっちが難しい？"|mecab -u C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic
"       蜷崎ｩ・繧ｵ螟画磁邯・*,*,*,*,*
駿台模試        名詞,固有名詞,一般,*,*,*,すんだいもし,スンダイモシ,スンダイモシ
        險伜捷,荳€闊ｬ,*,*,*,*,*
ﾆ全     蜷崎ｩ・蝗ｺ譛牙錐隧・邨・ｹ・*,*,*,*
統模試  險伜捷,荳€闊ｬ,*,*,*,*,*
ﾇっ     蜷崎ｩ・蝗ｺ譛牙錐隧・邨・ｹ・*,*,*,*
ｿが難しい       險伜捷,荳€闊ｬ,*,*,*,*,*
H       蜷崎ｩ・蝗ｺ譛牙錐隧・邨・ｹ・*,*,*,*
"       蜷崎ｩ・繧ｵ螟画磁邯・*,*,*,*,*
EOS

C:\Users\username>python
Python 3.7.3 (default, Mar 27 2019, 17:13:21) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
...
>>> import MeCab
>>> m = MeCab.Tagger(r"-Ochasen -u C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic")
>>> line = m.parse('駿台模試と全統模試どっちが難しい？')
>>> word = line.split('\n')
>>> word
['駿台\tスンダイ\t駿台\t名詞-固有名詞-地域-一般\t\t', '模試\tモシ\t模試\t名詞-一般\t\t', 'と\tト\tと\t助詞-並立助詞\t\t', '全\tチョン\t全\t名詞-固有名詞-人名-姓\t\t', '統\tミツル\t統\t名詞-固有名詞-人名-名\t\t', '模試\tモシ\t模試\t名詞-一般\t\t', 'どっち\tドッチ\tどっち\t名詞-代名詞-一般\t\t', 'が\tガ\tが\t助詞-格助詞-一般\t\t', '難しい\tムズカシイ\t難しい\t形容詞-自立\t形容詞・イ段\t基本形', '？\t？\t？\t記号-一般\t\t', 'EOS', '']

システム辞書とユーザー辞書の情報

C:\Users\username>mecab -D
filename:       C:\Users\username\Documents\Tool\MeCab\etc..\dic\ipadic\sys.dic
version:        102
charset:        UTF-8
type:   0
size:   392126
left size:      1316
right size:     1316

filename:       C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic
version:        102
charset:        UTF-8
type:   1
size:   6
left size:      1316
right size:     1316
コード

Comments

[quickquip]

pythonはバージョン3系でいいですか。

> コマンドプロンプトでmecab textを辞書の反映は確認できました。
これがちょっと気になります。何をしましたか。

[CookieM]

python3.7になります。

コマンドプロンプトに以下のコマンドを入力し、辞書に登録した単語(以下word)が表示されることを確認しました。
C:\Users\username>mecab -d C:\Users\username\Documents\Tool\MeCab\dic\ipadic -u C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic
word
word 名詞,固有名詞,一般,*,*,*,ああああああ,アアアアアア,アアアアアア
EOS

[quickquip]

コマンドプロンプトのコードページを(mecabのために)いじったりしていますか?

[quickquip]

あと情報はこの欄に書かないでください。ここは"質問への追記・修正の依頼"欄です。質問を編集して質問に載せましょう。

[CookieM]

失礼しました。コードページについては操作は加えていない認識です。
mecabコマンドを実行した環境でchcpコマンドを入力をすると932と返ってきます。

[quickquip]

ユーザー辞書が反映されないだけでPythonから普通のシステム辞書での解析ができる
かつ
コマンドプロンプトでも普通のシステム辞書+ユーザ辞書での解析ができる
というのが状況的に"ありえない"感じがしていて悩ましいです。

[CookieM]

コメントいただきありがとうございます。
試したことの詳細コードを掲載しました。コマンドプロンプト上でmecabとpython＞mecabをそれぞれ実行しています。
mecabだけですと文字化けしていますがユーザー辞書に登録した「駿台模試」を読み込めているのですがpython>mecabのほうは読み込めていない状況になります。こちらから何か修正のヒントは得られないでしょうか。

Answer 1

mecabだけですと文字化けしていますがユーザー辞書に登録した「駿台模試」を読み込めているのですが

C:\Users\username>mecab -d C:\Users\username\Documents\Tool\MeCab\dic\ipadic -u C:\Users\username\Documents\Tool\MeCab\dic\userdic\userdic.dic
駿台
        險伜捷,荳€闊ｬ,*,*,*,*,*
x       蜷崎ｩ・蝗ｺ譛牙錐隧・邨・ｹ・*,*,*,*
台      險伜捷,荳€闊ｬ,*,*,*,*,*
EOS
駿台模試
駿台模試       名詞,固有名詞,(略)
EOS

こんな感じですか? (駿台と駿台模試が入力)

だとしたら、システム辞書がUTF-8で作られていて、ユーザ辞書がShiftJISで作られていますね。

コマンドプロンプトの入出力はShiftJISなのでシステム辞書からの出力(と辞書から引けなかった時の動作)が文字化け、ユーザ辞書からの出力は正しい。
Pythonの入出力はUTF-8なのでシステム辞書からの出力は正しく、ユーザ辞書からは引けない。
という状況になると思います。

ユーザ辞書の作成で出力をShiftJISに指定しているのをやめればいいかと。

---

(追記)
システム辞書がUTF-8で作られていてユーザ辞書がShiftJISで作られている場合、ユーザ辞書の指定でincompatible dictionaryのエラーが出てmecabコマンドが動作しませんでした。
したがって上記は取り消します。

ユーザ辞書のseedファイルをShiftJISで作成した上で、ユーザ辞書の作成時にUTF-8を指定しても辞書作成ではエラーにならず、質問のような状況になります。

Comments

[CookieM]

ご回答と整理ありがとうございます。
ご記載いただいた通りの内容が出力されました。

こちらの回答をヒントにmecab -Dの結果をみて（本文に掲載しております）UTF-8になっている…と
暫く悩んだのですが、コンパイルする前のcsvファイルがShiftJISになっていることに気づき、
UTF-8で再度保存、コンパイルしなおしたところうまくいきました！
一連のやりとりと調査で大変勉強させていただきました、ありがとうございました。

[quickquip]

はい。同じ現象が再現できたところでした……
とりあえず解決してよかったです

[quickquip]

回答も改めました