簡略辞書フォーマットを追加して、janomeで形態素解析をしたいです。

Question

janomeを使って、形態素解析を行っています。

簡略辞書（※）を追加したいのですが、エラーになります。。
（※）以下のホームページの簡略辞書フォーマットを参考に、自分なりの dict_simple.csv を作成しました。
http://mocobeta.github.io/janome/

t = Tokenizer(udic = "dict_simple.csv", udic_type = "simpledic", udic_enc = "utf8")
だと以下のようなエラーになり、

t = Tokenizer(udic = "dict_simple.csv", udic_type = "simpledic", udic_enc = "Shift-JIS")
にするとエラーは出ないのですが、自作辞書が反映されません。

どうすれば自作簡略辞書を反映させた形態素解析ができるのか、ご教授ください。

（エラー文）
Traceback (most recent call last):
File ".\tokenizing.py", line 23, in <module>
t = Tokenizer(udic = "dict_simple.csv", udic_type = "simpledic", udic_enc = "utf8")
File "C:\Users---\AppData\Local\Programs\Python\Python36\lib\site-packages\janome\tokenizer.py", line 168, in init
self.user_dic = UserDictionary(udic, udic_enc, udic_type, connections)
File "C:\Users---\AppData\Local\Programs\Python\Python36\lib\site-packages\janome\dic.py", line 374, in init
compiledFST, entries = build_method(user_dict, enc)
File "C:\Users---\AppData\Local\Programs\Python\Python36\lib\site-packages\janome\dic.py", line 402, in buildsimpledic
for line in f:
File "C:\Users---\AppData\Local\Programs\Python\Python36\lib\codecs.py", line 321, in decode
(result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 1: invalid start byte

以下コードです。

import xlrd
import xlsxwriter
from collections import Counter
from itertools import chain
from janome.tokenizer import Tokenizer
import os

book = xlrd.open_workbook(r"C:\---.xlsx")

sheet_1 = book.sheet_by_index(0)

col = 9 #9列目の'memo'が対象

data = []
each_data = []

#t = Tokenizer(udic = "dict_simple.csv", udic_type = "simpledic", udic_enc = "utf8")
t = Tokenizer(udic = "dict_simple.csv", udic_type = "simpledic", udic_enc = "Shift-JIS")

for row in range(sheet_1.nrows):
    val = sheet_1.cell(row, col).value
    tokens = t.tokenize(val)
    for token in tokens:
        partOfSpeech = token.part_of_speech.split(',')[0]
        if partOfSpeech == u'名詞': #今回抽出するのは名詞のみ（他の品詞も追加、変更、除外可能）
            each_data.append(token.surface)
        
    data.append(each_data)
    each_data = []

    
data_book = xlsxwriter.Workbook(r"result\morphological_separate_dictsimple.xlsx")

data_sheet = data_book.add_worksheet('data')

for row in range(len(data)):
    for i in range(len(data[row])):
        data_sheet.write(row, i, data[row][i]) # (行, 列, 追加するデータ)
data_book.close() #エクセル保存

なお、プライバシー上気になる箇所を --- にして伏せています。

Answer 1

Pythonおよびjanomeはあまり使わないのですが、ひょっとしたら、ということで。

元のXLSがShift_JISで、Pythonおよびjanome辞書がUTF-8なので処理出来ないのは、と思います。

for row in range(sheet_1.nrows):
・・・

あたりになるんでしょうか、読み込んだ1行ずつをUTF-8に変換するか、試験的にCSVに出来るならCSVにして、テキストエディタでUTF-8に変換して処理させたらどうでしょうか？