NLTKでのstopwordsの除去に関する質問

Question

s = [["I", "am", "a", "potato"],["He", "is", "a", "tomato"]]

という多次元配列があるとして、stopwordsを除去したいと考えています。

nltk.download("stopwords")
from nltk.corpus import stopwords
stop_words = stopwords.words('english') #About 150 stopwords


s = [["I", "am", "a", "potato"],["He", "is", "a", "tomato"]]
[w for w in s if w not in stop_words]

上記のようなコードを実行すると、

[['I', 'am', 'a', 'potato'], ['He', 'is', 'a', 'tomato']]

と出力されてしまってstopwordsが除去できていません。

あまり情報源がなく、調べても分からなくて困っているのでどなたか教えてくださると嬉しいです。

Answer 1

以下のように単純に１文章ずつ処理すればよいです。

stop_words = ['a']
s = [["I", "am", "a", "potato"],["He", "is", "a", "tomato"]]

ret = []
for line in s:
    ret.append([w for w in line if w not in stop_words])

print(ret) # [['I', 'am', 'potato'], ['He', 'is', 'tomato']]

Comments

[taiyakix]

ありがとうございます。