形態素解析pythonについて

Question

現在以下の課題を行っているのですが、前処理としてDataFrame型に格納された
言葉の形態素解析を行い、再びDataFrameとして出力したいと思っています。
以下のコードではエラーが出てしまうのですが解決法ありましたらご教示頂けない
でしょうか。宜しくお願いします。

import pandas as pd
import MeCab  
# https://en.wikipedia.org/wiki/MeCab
from tqdm import tqdm_notebook as tqdm
# This is working...
train = pd.read_table('train-Copy1.tsv', encoding='utf-8')

m = MeCab.Tagger(" ")

a = m.parse(train)
print(type(train))
print(a)# working! 

# But I want to use Pandas's Series

def extractKeyword(train):
    """Morphological analysis of text and returning a list of only nouns"""
    tagger = MeCab.Tagger('-Ochasen')
    node = tagger.parseToNode(train)
    keywords = []
    while node:
        if node.feature.split(",")[0] == u"名詞": # this means noun
            keywords.append(node.surface)
        node = node.next
    return keywords

aa = extractKeyword(train) #working!!

me = df.apply(lambda x: extractKeyword(x))

#TypeError: ("in method 'Tagger_parseToNode', argument 2 of type 'char const *'", 'occurred at index 0')

以下エラーコードとなります。

---

TypeError Traceback (most recent call last)
<ipython-input-13-8fc78a0e370f> in <module>
8 m = MeCab.Tagger(" ")
9
---> 10 a = m.parse(train)
11
12 print(a)# working!

TypeError: in method 'Tagger_parse', argument 2 of type 'char const *'
Additional information:
Wrong number or type of arguments for overloaded function 'Tagger_parse'.
Possible C/C++ prototypes are:
MeCab::Tagger::parse(MeCab::Lattice *) const
MeCab::Tagger::parse(char const *)

Answer 1

trainの型が文字列でない可能性があります。

m = MeCab.Tagger(" ")

a = m.parse(train)

の間で以下のようにtrainの型を調べてみてください。

m = MeCab.Tagger(" ")

print(type(train))
a = m.parse(train)

trainの型次第ですが、単純にstrにすればよい場合もありますし、forループで回す必要がある場合もあります。

それがわからないなら、質問を編集してprint(type(train))の出力を載せてください。

DataFrameならapplyを使うのが良いでしょう。
例をあげておきますので、あとは工夫してみてください。

>>> import pandas as pd
>>> import MeCab
>>>
>>> m = MeCab.Tagger(" ")
>>> train = pd.DataFrame({'id':[283, 485], 'sentence':['スーパー北斗は函館を出発した。', 'ハウステンボス色の列車が鉄橋を渡る。']})
>>>
>>> train['morph'] = train['sentence'].apply(lambda s: m.parse(s))
>>> print(train)
    id  ...                                                                                morph
0  283  ...  スーパー\t名詞,一般,*,*,*,*,スーパー,スーパー,スーパー\n北斗\t名詞,一般,...
1  485  ...  ハウステンボス\t名詞,固有名詞,地域,一般,*,*,ハウステンボス,ハウステンボス,ハウス...

[2 rows x 3 columns]

Comments

[hiromasasusu]

編集致しました。型はDataFrameとなります。よろしくお願いします。