MeCabを用いたレビューにおける頻出単語のグラフ化について

Question

前提

pythonでMeCabを用いたレビューにおける頻出単語抽出を行っています。
月ごとの測定をしており、レビュー数の最も多い月と少ない月を比べようとグラフ化を試みましたが、レビュー数の最も多い月のグラフだけおかしくなってしまいました。

実現したいこと

・text_October_maximu.csv　というファイルからグラフを作成したい。
・また、最頻出している単語が「＊」になってしまうので、それを除去したい。

発生している問題・エラーメッセージ

このように「text_October_maximum」のものだけ、グラフがおかしくなてしまいます。どうすればよいでしょうか。

また、3つのグラフいずれも最頻出単語が「＊」となってしまいます。除去することはできるのでしょうか。

該当のソースコード

import csv
import pandas as pd
import MeCab
import collections
import seaborn as sns
import matplotlib.pyplot as plt
import japanize_matplotlib

files = open(r"C:\Users\Yasu\Documents\情報科学特別演習\ｃｓｖ\text_October_maximum.csv",encoding="utf-8",errors="ignore")
#files = open(r"C:\Users\Yasu\Documents\情報科学特別演習\ｃｓｖ\text_August_minimum.csv",encoding="utf-8",errors="ignore")
#files = open(r"C:\Users\Yasu\Documents\情報科学特別演習\ｃｓｖ\text_all.csv",encoding="utf-8",errors="ignore")


data = pd.read_csv(files)
message = data["text"]
messagelst = message.astype(str).tolist()
messagestr = "".join(messagelst)


mecab = MeCab.Tagger("-Ochasen")#-Ochasenという辞書でMeCabを用いた構文解析をするよ＾＾

node = mecab.parseToNode(messagestr)
words=[]
while node:
    hinshi = node.feature.split(",")[0]
    if hinshi in ["名詞","動詞","形容詞"]:#名詞、動詞、形容詞
        origin = node.feature.split(",")[6]
        words.append(origin)
    node = node.next
"""
「node.feature」には単語の品詞などの情報がカンマ区切りで入っており、
0番目に品詞名、6番目に原型のデータがある。
そこで、node.featureの0番目が名詞・動詞・形容詞だったらその6番目をとる

というコード
"""
#########################

c = collections.Counter(words)
"""
collections.Counterにリストやタプルを渡すと、要素とその要素の出現回数をとる。
"""


sns.set(context="talk",font="IPAexGothic")#context=talkは文字サイズの大きさが3/4。MAXはcontext=poster
fig = plt.subplots(figsize=(8,8))
"""
figure:描画領域全体
    →「fig = plt.subplots」でfigureを生成することができる
axes:個別の座標軸
"""

sns.countplot(y=words,order=[i[0] for i in c.most_common(20)])
plt.show()

試したこと

・パスの確認
・CSVファイルの見比べ
・IDLEの再起動

補足情報（FW/ツールのバージョンなど）

windows11,IDLE(3.10.2)

Comments

[can110]

「errors="ignore"」を指定しないで実行した結果を記載ください（文字コードが正しいなら不要のはず）

Answer 1

このように「text_October_maximum」のものだけ、グラフがおかしくなてしまいます。

元ファイル内容が不明なので何ともいえませんが、おそらく文字化けしています。
read_csvでerrors指定を外して実行し、エラーが発生するようであれば、正しい文字コードを指定して読み込む必要があります。

また、3つのグラフいずれも最頻出単語が「＊」となってしまいます。

固有名詞など辞書にない語の原形は*になるので、その場合はとりあえずnode.surfaceを採用するなどすればよいでしょう。

Comments

[yasutin]

返信が遅くなってしまい非常に申し訳ありません。文字コードのほうはおっしゃる通りで解決しました！ありがとうございました。しかし、2つ目の「＊」についてはいまだ未解決です。
”””
node = mecab.parseToNode(messagestr)
words=[]
while node:
hinshi = node.feature.split(",")[0]
if hinshi in ["名詞","動詞","形容詞"]:#名詞、動詞、形容詞
origin = node.feature.split(",")[6]
if node.surface != "＊":
words.append(origin)
node = node.next
”””

node.surfaceの特徴を調べてコードにくわえて使ってみましたが、アスタリスクは消えません。これはnode.surfaceで受け取った時点では固有名詞や記号であるが、グラフにするときにその単語をそのまま集計することができないということでしょうか？ご教授お願いいたします。

[can110]

原形(origin)が「*」なら表層形(node.surface)を採用する、というコードにする必要があります。