MeCabで作った自然言語データから助詞を消したい

Question

前提・実現したいこと

Pythonを使ってアンケート内の自然言語データを
可視化したいと考えています。

今回はNlplotを使った可視化を考えていますが、
可視化の前に行う処理でMeCabで作ったデータから助詞を消したいのですが、
上手くいっておらずご相談したく存じます。

発生している問題・エラーメッセージ

TypeError                                 Traceback (most recent call last)
<ipython-input-10-c6c44e85bce1> in <module>
      1 mecab = MeCab.Tagger()
----> 2 parse = mecab.parse(data['wakachi'])
      3 
      4 words = []
      5 lines = parse.split('\n')

TypeError: in method 'Tagger_parse', argument 2 of type 'char const *'
Additional information:
Wrong number or type of arguments for overloaded function 'Tagger_parse'.
  Possible C/C++ prototypes are:
    MeCab::Tagger::parse(MeCab::Lattice *) const
    MeCab::Tagger::parse(char const *)

該当のソースコード

import pandas as pd
import nlplot

path = r'C:\Users\データ\LIVE Screening.csv'
df = pd.read_csv(path, sep=',', encoding='cp932')
df.head()

***→これの助詞を消したい。
VOICE
0    字が綺麗になりたいから
1    始めたきっかけは親の影響です。
2    字がきれいになりたいから
3    字が綺麗な友人に憧れて。
4    文字を綺麗に書きたいと思ったので習い始めました。
***
import MeCab

m0 = MeCab.Tagger('-Owakati')
wakachi_list = []
for i, di in enumerate(df['VOICE']):
    try:
        w = m0.parse(di)
    except:
        w = di
        
    if 'list' in str(type(w)):
        print('No.', i, w[:30])
        wakachi_list += [w.split(' ')]
    else:
        print('X No.', i, w)
        wakachi_list += [w]

data = pd.DataFrame(wakachi_list)
data.columns = ['wakachi']
data.head()

***
wakachi
0	字 が 綺麗 に なり たい から \n
1	始め た きっかけ は 親 の 影響 です 。 \n
2	字 が きれい に なり たい から \n
3	字 が 綺麗 な 友人 に 憧れ て 。 \n
4	文字 を 綺麗 に 書き たい と 思っ た の で 習い 始め まし た 。 \n
***

mecab = MeCab.Tagger()
parse = mecab.parse(data['wakachi'])
# for i in data['wakachi']:
#     parse = mecab.parse(i)

words = []
lines = parse.split('\n')
import re
for line in lines:
    items = re.split('[\t,]',line)
    if len(items) >= 2 and items[1] == '助詞':
        continue
    words.append(items[0])
    
data['words'] = ' '.join(words)
data.drop('wakachi', axis=1, inplace=True)
data.head()

試したこと

parse部分に繰り返し処理が必要なのではと思い、

for i in data['wakachi']:
    parse = mecab.parse(i)

を試してみたのですが、
全ての行が同じになってしまい、うまくいきません。

---

words
0 友人 が 師範 な の で 誘わ れ て はじめ まし た 。 10 年 近く 習っ て お...
1 友人 が 師範 な の で 誘わ れ て はじめ まし た 。 10 年 近く 習っ て お...
2 友人 が 師範 な の で 誘わ れ て はじめ まし た 。 10 年 近く 習っ て お...
3 友人 が 師範 な の で 誘わ れ て はじめ まし た 。 10 年 近く 習っ て お...
4 友人 が 師範 な の で 誘わ れ て はじめ まし た 。 10 年 近く 習っ て お...

---

補足情報（FW/ツールのバージョンなど）

Python 3.8.3　[MSC v.1924 64 bit (AMD64)] on win32
参考ページ：https://teratail.com/questions/171703

ご協力頂けますと大変助かります。
何卒宜しくお願い致します。

###追記
やりたいことは一行一行の文字列から助詞を抜きたいことです。
parseが文字列しか渡せないということで、関数を作ればいいのではと思い、
下記のようなコードを作ろうとしたのですが、
上手くいきませんでした。。

import MeCab
import re
def mec(text):
    tagger = MeCab.Tagger()
    parse = tagger.parse('')
    word_class = []
    for line in lines:
        items = re.split('[\t,]',line)
    if len(items) >= 2 and items[1] == '助詞':
        continue
    words.append(items[0])

df['words'] = df['VOICE'].apply(mec)
df.head()

エラーメッセージ

  File "<ipython-input-13-a3ff3e372fa2>", line 10
    continue
    ^
SyntaxError: 'continue' not properly in loop

###再追記
以下のコードに書き換えたところ、
出力が全て”EOS”になってしまいました。。

import MeCab
import re
tagger = MeCab.Tagger()


def mec(text):
    parse = tagger.parse('')
    lines = parse.split('\n')
    words = []
    for line in lines:
        items = re.split('[\t,]',line)
        if len(items) >= 2 and items[1] == '助詞':
            continue
        words.append(items[0])
    return ' '.join(words)

df['words'] = df['VOICE'].apply(mec)
df.head()

###出力
VOICE	words
0	字が綺麗になりたいから	EOS
1	始めたきっかけは親の影響です。	EOS
2	字がきれいになりたいから	EOS
3	字が綺麗な友人に憧れて。	EOS
4	文字を綺麗に書きたいと思ったので習い始めました。	EOS

EOSがどこから出てきたのか分からず。。

Answer 1

MeCabの使い方に関することと、Pythonの基本的な使い方（変数とループまわり）に関することが混じっていて、焦点（分からないポイント）がどこかピンと来ません。
1つ目だけ回答します。

---

エラーは文字列(str)を渡していないせいで起きています。
MeCab.Taggerのparseに渡せるのは文字列だけです。文字列を渡すようにしてください。

---

m0 = MeCab.Tagger('-Owakati')とmecab = MeCab.Tagger()の間にあるコードは必要ありません（正直、コードの意図がよくわかってないんですが後述の理由から不要だということははっきり言えます）。

-Owakatiのオプションは、形態素解析した結果から形態素の情報を捨てて表層だけを空白区切りで返しなさい、という出力フォーマット指定です。
今のコードは、形態素解析して、形態素情報を捨てて表層だけ取り出して、その結果をもう一回形態素解析にかけている、という形になっています。
「やりたいこと」に対しては https://teratail.com/questions/171703 に書いてあるコードの方が近く、-Owakatiオプションで解析する理由がありません。
今の1つ目のループの中に、https://teratail.com/questions/171703 でやっている処理を入れるイメージの方がいいでしょう。

---

tagger = MeCab.Tagger()

def mec(text):
    parse = tagger.parse('')
    word_class = []
    for line in lines:
        items = re.split('[\t,]',line)
        if len(items) >= 2 and items[1] == '助詞':
            continue
        words.append(items[0])
    return ' '.join(words)

1. if と words.append のインデントがずれている
2. returnしてない

でしょうか。動かしてはないですが。

taggerはグローバルに確保していいと思います。

---

tagger = MeCab.Tagger()
print(tagger.parse('文字を綺麗に書きたいと思ったので習い始めました。'))

すると

文字	モジ	モジ	文字	名詞-普通名詞-一般			1
を	オ	ヲ	を	助詞-格助詞
綺麗	キレー	キレイ	奇麗	形状詞-一般			1
に	ニ	ダ	だ	助動詞	助動詞-ダ	連用形-ニ
書き	カキ	カク	書く	動詞-一般	五段-カ行	連用形-一般	1
たい	タイ	タイ	たい	助動詞	助動詞-タイ	終止形-一般
と	ト	ト	と	助詞-格助詞
思っ	オモッ	オモウ	思う	動詞-一般	五段-ワア行	連用形-促音便	2
た	タ	タ	た	助動詞	助動詞-タ	連体形-一般
の	ノ	ノ	の	助詞-準体助詞
で	デ	ダ	だ	助動詞	助動詞-ダ	連用形-一般
習い	ナライ	ナラウ	習う	動詞-一般	五段-ワア行	連用形-一般	2
始め	ハジメ	ハジメル	始める	動詞-非自立可能	下一段-マ行	連用形-一般	0
まし	マシ	マス	ます	助動詞	助動詞-マス	連用形-一般
た	タ	タ	た	助動詞	助動詞-タ	終止形-一般
。			。	補助記号-句点
EOS

になりませんか? （Teratailだとタブが空白に置換されていて見え方は違うと思いますが）
素性の区切りが-で、品詞情報が5番目の項目になるのでそのあたりを直していく必要があるかと。

1度コメントに書きましたが、他人のコードがどう動いているのか確認せずに自分のコードに入れているのが、真の問題じゃないですか?
うまく動かないなら、1行ずつ動かしたりして何が起きるのか、何を意図しているのかを試して調べていく必要があります。

---

よくみたら引数のtextを使ってなくて常に空文を解析してます。
あと辞書が違うので品詞の取り方は変えないといけないですね。
大雑把には\tと-で分解して5番目を取るんでしょうかね??

def mec(text):
    parse = tagger.parse(text)
    word_class = []
    for line in lines:
        items = re.split('[\t-]',line)
        if len(items) >= 5 and items[4] == '助詞':
            continue
        words.append(items[0])
    return ' '.join(words)

という感じかと。
あとは必要な処理をちゃんと書いてください、としか。

Comments

[Pablito]

ご回答ありがとうございます。
また、質問分かりづらくてすみません。
訊きたいことは助詞・助動詞を上手く取り除く方法でした。

また、バカで申し訳ないのですが、↓のようにやるとすると、
一つ目のforにURLの処理をどう上手く組み込むか分かりかねているのですが、
その点ご教示頂くことは可能でしょうか。
＊＊＊
今の1つ目のループの中に、https://teratail.com/questions/171703 でやっている処理を入れるイメージの方がいいでしょう。
＊＊＊

[quickquip]

何が"分かりかねている"のかこちらからはわかりません。
https://teratail.com/questions/171703 のコードが何をやっているのかわかっていない状態で自分のコードに入れようとしているだけではないですか?

[Pablito]

すみません、一行一行parseして助詞を消したいのですが、
ご記載頂いている下記のイメージがそもそもイメージ付きません。
＊＊＊
今の1つ目のループの中に、https://teratail.com/questions/171703 でやっている処理を入れるイメージの方がいいでしょう。
＊＊＊
MeCabの使い方を改めて見直し、一つの文字列ではなく、Dataframeの1カラムの
行全てに処理をかけたく、追記をしたように関数を作ろうと思ったのですが、
エラーが起きました。。

申し訳ございませんが、サンプルコード等をご教示頂くことは可能でしょうか。

[Pablito]

Quickquipさん、ありがとうございます。
頂いたコードをエラーが出ないように若干修正して
実行してみたのですが、
結果が全てEOSになってしまいました。。

原因に心当たりはございますでしょうか。

[Pablito]

1行のテキストデータだと記載頂いたコードでできると思うのですが、
それをDataframeの1カラムで複数の行を一括でparseして、
助詞を削除する方法を探しておりまして、、、
そもそもそんなことはできないのでしょうか。。

[quickquip]

> 1行のテキストデータだと記載頂いたコードでできると思うのですが、
実際できたなら「と思う」とは書かないと感じるのですが、実際やってみてできたんでしょうか?

[quickquip]

https://teratail.com/questions/171703 のコードはそのままでは正しく動かないなと（今は）思ってます。（回答時点ではちゃんと考えてなかったですが）

[Pablito]

実際にやってみてはいて、
print(tagger.parse(df['VOICE'][0]))
↓output
字 ジ ジ 字 名詞-普通名詞-一般 1
が ガ ガ が 助詞-格助詞
綺麗 キレー キレイ 奇麗 形状詞-一般 1
に ニ ダ だ 助動詞 助動詞-ダ 連用形-ニ
なり ナリ ナル 成る 動詞-非自立可能 五段-ラ行 連用形-一般 1
たい タイ タイ たい 助動詞 助動詞-タイ 終止形-一般
から カラ カラ から 助詞-接続助詞
EOS
となります。

これを全ての行に適用させて助詞を取り除きたいのですが、方法はありますかね？

ちなみに一行さけで良ければ下記でできます。
ps = tagger.parse(df['VOICE'][0])
line2 = ps.split('\n')
words = []
import re
for line in line2:
items = re.split('[\t,]',line)
if len(items) >= 2 and items[1] == '助詞':
continue
words.append(items[0])

print(' '.join(words))

＊＊＊
字 が 綺麗 に なり たい から EOS

[quickquip]

明らかに助詞が残ってますよね……

[Pablito]

助詞は残っていますが、ひとまず全行parseはできました。
ご協力誠にありがとうございました。

助詞の消し方は今後の課題としたいと思います。

[quickquip]

助詞は取り除いてますよ。