Seriesの扱い方。StopWordを除く関数を作成したが、実際にDataFrameを入れたところエラーが出る。

Question

###DataFrameの文字列からStopWordを除きたいです

前回に引き続きtf-idfを作成するにあたって、解析に必要のない単語を除くために、除きたい単語をstopwordとし、関数を定義しました。

# リストを文字列に変換する関数
def join_list_str(list):
    return ' '.join(list)

# ストップワード除外関数
def exclude_stopword(text):
    changed_text = [token for token in text.lower().split(" ") if token != "" if token not in stopwords]
    # 上記のままだとリスト形式になってしまうため、空白区切の文字列に変換
    changed_text = join_list_str(changed_text)
    return changed_text

exclude_stopword(review_df['lsbw'])

（参考）TF-IDFで見る評価の高いラーメン屋の口コミ傾向（自然言語処理, TF-IDF, Mecab, wordcloud, 形態素解析、分かち書き）

ただ、定義した関数に文字列のDataFrameを入れるとSeriesに関するエラーが出てしまいました。
詳しいエラー内容は

AttributeError                            Traceback (most recent call last)
<ipython-input-25-50b619c3f3f8> in <module>
----> 1 exclude_stopword(review_df['lsbw'])

<ipython-input-22-761e575fdb0b> in exclude_stopword(text)
      5 # ストップワード除外関数
      6 def exclude_stopword(text):
----> 7     changed_text = [token for token in text.lower().split(" ") if token != "" if token not in stopwords]
      8     # 上記のままだとリスト形式になってしまうため、空白区切の文字列に変換
      9     changed_text = join_list_str(changed_text)

~/opt/anaconda3/lib/python3.8/site-packages/pandas/core/generic.py in __getattr__(self, name)
   5137             if self._info_axis._can_hold_identifiers_and_holds_name(name):
   5138                 return self[name]
-> 5139             return object.__getattribute__(self, name)
   5140 
   5141     def __setattr__(self, name: str, value) -> None:

AttributeError: 'Series' object has no attribute 'lower'

文字列は形態素解析を行ったものが入っております。

恐らくこの質問も超基本だと思いますが、何卒宜しくお願い申し上げます。

Answer 1

review_dfの'lsbw'列のそれぞれに対してexclude_stopwordを実行した新しいSequenceを作りたいということであれば、

review_df['lsbw'].apply(exclude_stopword)

です。

review_df['lsbw_without_stopwords'] = review_df['lsbw'].apply(exclude_stopword)

とすれば、新しい列が追加されます。

Comments

[takepon-maru]

なるほど！新しい列を追加することで、動くのですね！
試した結果動きました！ありがとうございます！

この部分に関してはPythonのどの項目を勉強すればよろしいでしょうか？

[ppaul]

各列への処理ということならpandasのapplyですが、それを理解するためにはpandasのDataFrameをよく理解することが大事です。
pandas.DataFrameの構造とその作成方法
https://note.nkmk.me/python-pandas-dataframe-values-columns-index/
を読んで、そのあとで
pandasで要素、行、列に関数を適用するmap, applymap, apply
https://note.nkmk.me/python-pandas-map-applymap-apply/
でしょうか。

[takepon-maru]

丁寧に解説して下さりありがとうございます！参考にさせて頂きます。