前提・実現したいこと
PythonでCSVファイルを読み込んでMeCabによる形態素解析を行いたいです。
twitterのツイートをCSVファイルに変換したものを読み込ませて名詞だけを取り出して、出てきた回数をカウントするものです。
参考にしているサイトはこちらです。
http://stone-book.hatenablog.com/entry/2016/10/10/231324
発生している問題・エラーメッセージ
実行時に出てくるのは
runfile('C:/Users/seatrp/.spyder-py3/pro4/pro4-2.py', wdir='C:/Users/seatrp/.spyder-py3/pro4')
Traceback (most recent call last):
File "<ipython-input-2-b61b8e7c8e14>", line 1, in <module>
runfile('C:/Users/seatrp/.spyder-py3/pro4/pro4-2.py', wdir='C:/Users/seatrp/.spyder-py3/pro4')
File "C:\Users\seatrp\Anaconda3\lib\site-packages\spyder\utils\site\sitecustomize.py", line 866, in runfile
execfile(filename, namespace)
File "C:\Users\seatrp\Anaconda3\lib\site-packages\spyder\utils\site\sitecustomize.py", line 102, in execfile
exec(compile(f.read(), filename, 'exec'), namespace)
File "C:/Users/seatrp/.spyder-py3/pro4/pro4-2.py", line 32, in <module>
wordlist = pd.read_csv("out_mecab2.txt" , header=None , delimiter="\t")
File "C:\Users\seatrp\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 562, in parser_f
return _read(filepath_or_buffer, kwds)
File "C:\Users\seatrp\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 315, in _read
parser = TextFileReader(filepath_or_buffer, **kwds)
File "C:\Users\seatrp\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 645, in init
self._make_engine(self.engine)
File "C:\Users\seatrp\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 799, in _make_engine
self._engine = CParserWrapper(self.f, **self.options)
File "C:\Users\seatrp\Anaconda3\lib\site-packages\pandas\io\parsers.py", line 1213, in init
self._reader = _parser.TextReader(src, **kwds)
File "pandas\parser.pyx", line 523, in pandas.parser.TextReader.cinit (pandas\parser.c:5214)
EmptyDataError: No columns to parse from file
そして
「mecab.exe - アプリケーションエラー」のウィンドウ
「アプリケーションを正しく起動できませんでした(0xc000007b)。[OK]をクリックしてアプリケーションを閉じてください」
というものです。
用意したCSVファイルが10行あり、このエラーのウィンドウが10回出てくるのでMeCabを呼び出す際に問題が起こっているのかな・・・とは思うのですが解決の仕方がどうもよくわかりません。
該当のソースコード
開発環境としてSpyderを使っています。
import subprocess
import pandas as pd
import codecs
import re
#CSVファイル読込
datas = pd.read_csv("tweet2.csv" , header=None)
for key, row in datas.iterrows():
#Mecab用に出力
fout =codecs.open("in_mecab2.txt", "w" , "utf-8")
#5列目にツイート本文
tw = str(row[5])
#英数字を消し、日本語のみに
tw = re.sub("[^ぁ-んァ-ンー一-龠]", "", tw);
#Mecabに食わせるファイルを出力
fout.writelines(tw)
fout.close()
#Mecab実行 -E でEOFを出力しない、 >> で追記
cmd = "\"C:\\Program Files (x86)\\MeCab\\bin\\mecab.exe\" < in_mecab2.txt >> out_mecab2.txt -E \"\" "
subprocess.call(cmd , shell=True)
#出力結果を読込
wordlist = pd.read_csv("out_mecab2.txt" , header=None , delimiter="\t")
#一般名詞だけ抽出 MeCabの形態素解析結果に品詞が記載されている
nounlist = wordlist[wordlist[1].str.contains("名詞,一般")]
#名詞のカウントをする
pd.DataFrame(nounlist[0].value_counts(), columns=["COUNT"])
試したこと
エラーコードを調べたところVisual Studio 2012 更新プログラム 4 の Visual C++ 再頒布可能パッケージの32bit版をインストールすると解決する場合があるとのことだったのでやってみたのですがダメでした。
https://www.microsoft.com/ja-jp/download/details.aspx?id=30679
補足情報(言語/FW/ツール等のバージョンなど)
最後になりますが現在の環境を挙げさせていただきます。
OS:Windows10(64bit)
言語:Python3.5.2(Anaconda4.2.0利用しインストール)
形態素解析ツール:MeCab
ほぼ以下のサイトの通りにやってみました。
http://qiita.com/h_kabocha/items/5bee9e9b852aed11411b
原因わかる方いらっしゃいましたら回答のほどよろしくお願いいたします。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
0
wordlist = pd.read_csv("out_mecab2.txt" , header=None , delimiter="\t")
で、
EmptyDataError: No columns to parse from file
のエラーになっているようなので、
out_mecab2.txt にデータが書き込まれていないのではないでしょうか?
実際にファイルを開いて目的のものが書き込まれているかを確認してみると良いと思います。
また、MeCabをPythonの外で外部呼び出しをしていますが、MeCab-Pythonなどを使って、Pythonの環境のみで行う方法も検討したほうが良いかと思います。
MeCab以外の形態素解析エンジンを使うという選択肢もあろうかと思います。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
かなり前に投稿したことなので何が原因でどうしたら解決したのかを正直あまり良く覚えていません。
おそらく解決などせず、他の方法で乗り越えたような気がします。
ソースコードを見ていただくとわかる通り、ツイートに対して形態素解析をかけたかったのですが上手くいかずこのような投稿をしました。
Pythonも形態素解析もあまりよくわかっていなかった時の投稿なので今見ると本当にひどいなと思います。
投稿してからの時間の経過も手助けとなり、地味に閲覧数が多いような気がするのでお恥ずかしながら投稿は消さずに残しておこうと思います。
何のヒントになるかもわかりませんが誰かの手助けとなれば幸いです。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.13%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
ikedas
2017/02/06 20:58
https://teratail.com/help をみて、コード部分をきれいに整形していただけませんか。