PythonとMeCabを使おうとするとUnicodeDecodeErrorが出る

Question

実現したいこと

python、mecabを使ってランダムに"形容詞" + "名詞"　を出力したいと考えています。

発生している問題・エラーメッセージ

エラーメッセージ
Traceback (most recent call last):
  File "/User/work/ojisan_bot/src/main.py", line 24, in <module>
    nouns = get_words_by_pos("名詞")
  File "/Users/work/ojisan_bot/src/main.py", line 17, in get_words_by_pos
    for line in f:
UnicodeDecodeError: 'euc_jp' codec can't decode byte 0xc4 in position 0: illegal multibyte sequence

該当のソースコード

dict_pass = "/usr/local/lib/mecab/dic/ipadic"

def get_words_by_pos(part_of_speech):
    m = MeCab.Tagger("-d " + dict_pass)
    m.parse("/usr/local/lib/mecab/dic/ipadic")# 辞書のパスを適宜指定してください
    words = []

    with open(dict_pass + "/sys.dic", 'r', encoding="euc-jp") as f:  # sys.dicのパスを適宜指定してください
        for line in f:
            if part_of_speech in line:
                word = line.split()[0]
                words.append(word)

    return words

nouns = get_words_by_pos("名詞")
adjectives = get_words_by_pos("形容詞")

noun = random.sample(nouns, 1)[0]
adjective = random.sample(adjectives, 1)[0]

print(adjective + noun)

試したこと

euc-jpをutf-8に変えてみたりしました。

Comments

[TakaiY]

エラーメッセージは省略せず、Trace backの行からすべて載せてください。エラー発生場所など、重要な情報が入てちます。
回答はここにするのでなく、質問を編集してください。

[ojisan_name]

内容を更新しました！助言ありがようございます🙇‍♂️

[TakaiY]

sys.dic というファイルは 本当にeuc-jp形式のファイルなのでしょうか？

[meg_]

> euc-jpをutf-8に変えてみたりしました。
当てずっぽうで変えてませんよね？正しいエンコーディングが不明ということでしょうか？

[ojisan_name]

あてずっぽうですね...。
正しいエンコーディングが不明です

[ojisan_name]

mecabを使ってみた記事を参考にしてエンコーディングの形式を当てはめている感じです

[quickquip]

Python3で合ってますか? Python3だと、mecabのPythonバインディングから扱えるのは **辞書のエンコーディングが** utf-8 の場合だけです（おそらく）。utf-8 ではない辞書だとPython側からどう指定しても使えないと思われます。
なので、その辞書はなにものなのか? (エンコーディングはなにか? どうインストールしたものか?) が最重要ポイントです。

[quickquip]

mecab本体があるなら、コマンドで
mecab -D -d /usr/local/lib/mecab/dic/ipadic
した結果をとりあえず載せるのがいいんじゃないでしょうか

[meg_]

> mecabを使ってみた記事を参考にしてエンコーディングの形式を当てはめている感じです
他の人が書いたコードを流用する場合、環境を同じにしないと動作しないことがあるかと思います。

[8524ba23]

sys.dicはバイナリファイルなのでテキストとしては開けません。
ほか、そのソースコード各行で何をしたいのか意図が不明ですので
何をしたいのかを具体的に説明ください。

[quickquip]

なるほど
> ランダムに"形容詞" + "名詞"　を出力したい
という目的に対して
> mecabを使って
というのが、そもそも手段として完全におかしいですね。

もしもsys.dicがmecabの辞書あたりからコピーしてきたファイルなら、openで開いているのもそもそも完全に間違っている、と。

[ojisan_name]

勉強不足で申し訳ありません🙇‍♂️
mecabのipadicの中身から名詞分類されているものと形容詞分類されているものをリスト化したいです....。

Answer 1

自己解決しました。
ipadicの辞書をeuc-jpからutf-8に変換しました。

Answer 2

https://taku910.github.io/mecab/#download > IPA辞書ダウンロードで、
mecab-ipadic-2.7.0-20070801.tar.gz をダウンロードする
展開する
Noun.*.csv を読み込んで名詞をリスト化する
Adj.csv を読み込んで、原形だけ残してリスト化する

でしょうか。