Mecabの辞書の反映について

Question

前提

mecabを用いて楽天市場のレビューを形態素解析し、頻出単語を抽出するプログラムを書いています。

実現したいこと

・mecabのOchasenとipadicという辞書を反映させたい。

発生している問題・エラーメッセージ

![頻出語彙ランキング２０](https://ddjkaamml8q8x.cloudfront.net/questions/2022-12-07/5a5e848f-d381-46f7-acf9-a4b36f03794b.png)
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-12-07/cb26f847-356d-41ea-85f3-1d6207b1fe36.png)
この写真の通り、辞書が反映されないと解析できない語彙が多く存在してしまう。

該当のソースコード

# coding: utf-8
import csv
import pandas as pd
import MeCab
import collections
import seaborn as sns
import matplotlib.pyplot as plt
import japanize_matplotlib

files = open(r"C:\Users\Yasu\Documents\情報科学特別演習\ｃｓｖ\text_October_maximum.csv",encoding="utf-8",errors="ignore")

data = pd.read_csv(files) 
message = data["text"] 
messagelst = message.astype(str).tolist() 
messagestr = "".join(messagelst) 


mecab = MeCab.Tagger("-Ochasen")

node = mecab.parseToNode(messagestr)
words=[]
while node:
    hinshi = node.feature.split(",")[0]
    if hinshi in ["名詞","動詞","形容詞"]:
        origin = node.feature.split(",")[6] 
        if node.surface != "＊": 
            words.append(origin)
    node = node.next

c = collections.Counter(words) 
sns.set(context="talk",font="IPAexGothic")
fig, ax = plt.subplots(figsize=(8,8))
sns.countplot(y=words,order=[i[0] for i in c.most_common(20)]) 

plt.show()

試したこと

Ochasenがインストールされているのかpower shellで確認しようとしたが、結局インストールされていない？されているかされていないのかよくわからなかった。

補足情報（FW/ツールのバージョンなど）

IDLE

Answer 1

ただのコードの間違いでしょう。いったいどうしてこんなコードにしたのか自分で説明できますか? 実際にデータを見てみましたか?

>>> import MeCab
>>> mecab = MeCab.Tagger("-Ochasen")
>>> node = mecab.parseToNode('コラーゲンを飲んで美しく保っています')
>>> while node:
...     print(node.surface, node.feature)
...     node = node.next
 BOS/EOS,*,*,*,*,*,*,*,*
コラーゲン 名詞,一般,*,*,*,*,*
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
飲ん 動詞,自立,*,*,五段・マ行,連用タ接続,飲む,ノン,ノン
で 助詞,接続助詞,*,*,*,*,で,デ,デ
美しく 形容詞,自立,*,*,形容詞・イ段,連用テ接続,美しい,ウツクシク,ウツクシク
保っ 動詞,自立,*,*,五段・タ行,連用タ接続,保つ,タモッ,タモッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
い 動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
 BOS/EOS,*,*,*,*,*,*,*,*

というような解析結果に対して、質問のコードでは

        if node.surface != "＊": 
            words.append(origin)

としていますが、表層形(surface)が ＊ で無ければ原形(origin)を取得する、というのはどういう意図なんでしょう?
（あと、 ＊ が全角なんですが、本当は * と書きたかったのでしょう）

コラーゲンの行は

コラーゲン 名詞,一般,*,*,*,*,*

となっていて、表層形は コラーゲン で ＊ではない ので、if文に引っかかって原形の * が追加されます。
コードは書かれた通りに動いています。

本来やりたかったことは、
原形が * でない時は原形を、原形が * の時は表層形を取得する
ではなかったでしょうか?

---

ついでに。

"-Ochasen"は出力フォーマットの指定です。

parseToNodeは挙動が安定してない感じがあります。環境に依ると思いますが手元では余計なBOS/EOSが出てます。parseメソッドで生のテキストでの出力を取得して文字列操作した方がよい面が多いです。

>>> mecab.parse('コラーゲンを飲んで美しく保っています')
'コラーゲン\t名詞,一般,*,*,*,*,*\nを\t助詞,格助詞,一般,*,*,*,を,ヲ,ヲ\n飲ん\t動詞,自立,*,*,五段・マ行,連用タ接続,飲む,ノン,ノン\nで\t助詞,接続助詞,*,*,*,*,で,デ,デ\n美しく\t形容詞,自立,*,*,形容詞・イ段,連用テ接続,美しい,ウツクシク,ウツクシク\n保っ\t動詞,自立,*,*,五段・タ行,連用タ接続,保つ,タモッ,タモッ\nて\t助詞,接続助詞,*,*,*,*,て,テ,テ\nい\t動詞,非自立,*,*,一段,連用形,いる,イ,イ\nます\t助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス\nEOS\n'

Comments

[yasutin]

回答ありがとうございます。

if origin == "*":
words.append(node.surface)
else:
words.append(origin)

ご指摘の通りです。
ずっと悩んでいた”＊”の排除もできました。

ほんとうにありがとうございました。

Answer 2

公式にある辞書って、ダウンロード＆インストールされましたか？

ページ内検索ワード「MeCab 用の辞書」
https://taku910.github.io/mecab/#download

Comments

[yasutin]

回答ありがとうございます。

ダウンロードはしてありますが、
その後のインストールが完了しているのかどうかはわかりません。
ダウンロードしたファイルを解凍する必要があるのでしょうか？