python MeCabの使い方 エラーに関する質問

Question

b.py

# 各種モジュール
import MeCab
import random
from nltk import ngrams
from collections import Counter, defaultdict

# テストデータのわかち書き、加工
def parse_words(test_data):

    # テストデータ読み込み
    with open(test_data, 'r') as f:
        lines = f.readlines()

    # わかち書き
    t = MeCab.Tagger('-Owakati')
    datas = []
    for line in lines:
        data = t.parse(line).strip()
        datas.append(data)

    # 各行の先頭と末尾に目印を付与
    datas = [f'__BEGIN__ {data} __END__' for data in datas]
    datas = [data.split() for data in datas]    

    return datas

# ３単語とその出現回数辞書作成
def create_words_cnt_dic(datas):

    # 行ごとにトライグラム作成し、１つに連結
    words = []
    for data in datas:
        words.extend(list(ngrams(data, 3)))

    # ３単語とその出現回数辞書
    words_cnt_dic = Counter(words)

    return words_cnt_dic 

# マルコフ用辞書
def create_m_dic(words_cnt_dic):

    # 空のマルコフ辞書
    m_dic = {}
    for k, v in words_cnt_dic.items():
        # 先頭２単語、その次の単語
        two_words, next_word = k[:2], k[2]

        # 存在しなければ作る
        if two_words not in m_dic:
            m_dic[two_words] = {'words': [], 'weights': []}

        # 先頭２単語に対し、次に来る単語とその重み
        m_dic[two_words]['words'].append(next_word)
        m_dic[two_words]['weights'].append(v)

    return m_dic 

# 文章開始単語リストとその重みリスト作成
def create_begin_words_weights(words_cnt_dic):

    begin_words_dic = defaultdict(int) 
    for k, v in words_cnt_dic.items():
        if k[0] == '__BEGIN__':
            next_word = k[1]
            begin_words_dic[next_word] = v

    begin_words = [k for k in begin_words_dic.keys()]
    begin_weights = [v for v in begin_words_dic.values()]

    return begin_words, begin_weights

# 文章生成
def create_sentences(m_dic, begin_words, begin_weights):

    # 開始単語の抽選
    begin_word = random.choices(begin_words, weights=begin_weights, k=1)[0]

    # 作成文章の格納
    sentences = ['__BEGIN__', begin_word]

    # 作成文章の後方２単語をもとに、次の単語を抽選する
    while True:
        # 後方２単語
        back_words = tuple(sentences[-2:])

        # マルコフ用辞書から抽選
        words, weights = m_dic[back_words]['words'], m_dic[back_words]['weights']
        next_word = random.choices(words, weights=weights, k=1)[0]

        # 終了の目印が出たら抜ける
        if next_word == '__END__':
            break

        # 取得単語を追加
        sentences.append(next_word)

    # 開始マークより後ろを連結
    return ''.join(sentences[1:])

# テストデータのわかち書き、加工
datas = parse_words('osake.txt')

# ３単語の出現回数辞書作成
words_cnt_dic = create_words_cnt_dic(datas)

# マルコフ用辞書作成
m_dic = create_m_dic(words_cnt_dic)

# 開始単語とその重みリスト作成
begin_words, begin_weights = create_begin_words_weights(words_cnt_dic)

# 20回 文章生成
for i in range(20):
    text = create_sentences(m_dic, begin_words, begin_weights)
    print(str(i).zfill(2), text, sep=': ')

酒を１本飲む
２本も飲むと楽しい
５本も飲むと悲しい
酒は楽しい
酒は悲しい
悲しい酒は美空ひばり

上のコードを実行したところ、以下のようなエラーが出ました。どのように解決すれば良いでしょうか。

ちなみに、mecab --versionを実行したところ
mecab of 0.996
と出力された為、mecabはインストール済みです。

Traceback (most recent call last):
  File "/Users/???/Desktop/Python/b.py", line 2, in <module>
    import MeCab
  File "/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/__init__.py", line 10, in <module>
    from . import _MeCab
ImportError: dlopen(/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so, 0x0002): symbol not found in flat namespace (__ZN5MeCab11createModelEPKc)

追記
Pythonのmecabバインディングはどうやってインストールしましたか
→Homebrewをインストールした後、brew install mecab mecab-ipadicというふうにインストールしました。以下の動画を参考にしました。
https://youtu.be/mrzPAQOkRlA
PythonはIntelバイナリですか、Apple Silicon バイナリですか
→Apple Silicon バイナリです。

pip show mecab-python3
の結果を質問を編集して書き入れてください
→
Name: mecab-python3
Version: 1.0.5
Summary: Python wrapper for the MeCab morphological analyzer for Japanese
Home-page: https://github.com/SamuraiT/mecab-python3
Author:
Author-email:
License: BSD
Location: /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages
Requires:
Required-by:

Comments

[quickquip]

Pythonのmecabバインディングはどうやってインストールしましたか
PythonはIntelバイナリですか、Apple Silicon バイナリですか
あたりを質問を編集して書いてください

[quickquip]

brew install mecab mecab-ipadic
ではmecabコマンドしか入りません

Pythonのライブラリは、なにをどうやって入れましたか

あと、"あなたが参考にしたもの"ではなくて"あなたがやったこと"を書いてください

[sakura.k]

Pythonのライブラリは、このプログラムを実行するに際し何も入れていません。

[quickquip]

pip list (もしくはpip3 list)
を実行して mecab で始まるライブラリはないですか?

ないなら「pipで入れていないのに site-packages に MeCab/ があることがおかしい」が結論です

あるなら
pip show (そのライブラリ名)
の結果を質問を編集して書き入れてください

[quickquip]

file /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so
の結果もどうなるのか気になります

[sakura.k]

以下のようになりました。
/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so: Mach-O universal binary with 2 architectures: [x86_64:Mach-O 64-bit bundle x86_64Mach-O 64-bit bundle x86_64] [arm64:Mach-O 64-bit bundle arm64Mach-O 64-bit bundle arm64]
/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so (for architecture x86_64): Mach-O 64-bit bundle x86_64
/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so (for architecture arm64): Mach-O 64-bit bundle arm64

Answer 1

この記事と同じみたいです。
https://qiita.com/G1998G/items/2ad1b62c0285e478bfab

おそらく

otool -L /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so

した時に、_MeCab.cpython-310-darwin.so が参照していなければならない libmecab が、存在しないのだと推測します。

こちらの手元で確認すると

_MeCab.cpython-310-darwin.so:
	/opt/homebrew/opt/mecab/lib/libmecab.2.dylib (compatibility version 3.0.0, current version 3.0.0)
	/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 1300.23.0)
	/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1311.100.3)

と出てきて/opt/homebrew/opt/mecab/lib/libmecab.2.dylibを指していました。
また、/opt/homebrew/opt/mecab/lib の中を確認すると、/opt/homebrew/opt/mecab/lib/libmecab.dylibが上記ファイルへのシンボリックリンクになっています。
この2つのどちらに差し替えてもよいでしょう。

紹介した記事のように、

install_name_tool -change "(otool -L した時にでてくるであろう参照先)" /opt/homebrew/opt/mecab/lib/libmecab.dylib /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so

でよいと思います。

---

もしくは

pip uninstall mecab-python3

して、/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/からmecab関連のファイルが削除されたことを確認した上で

pip install --no-cache-dir mecab-python3

すると改善される可能性もありそうです。

---

参考
https://qiita.com/omochimetaru/items/21d662b8df8bce1bc5ca

Comments

[sakura.k]

otool -L /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so
を実行したところ、以下のように出力されました。
/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so (architecture x86_64):
/usr/local/opt/mecab/lib/libmecab.2.dylib (compatibility version 3.0.0, current version 3.0.0)
/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 1300.23.0)
/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1311.100.3)
/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/MeCab/_MeCab.cpython-310-darwin.so (architecture arm64):
/usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 1300.23.0)
/usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1311.100.3)

[quickquip]

HomebrewがIntel版のバイナリだったりしますか?
Pythonも質問の情報に反してUniversalバイナリなんでしょうね。
ご自分の環境に合わせてやりましょうとしか言えないです。