stopwordsを除去する方法（python,janome)

前提・実現したいこと

分かち書きを行い、ストップワードを除去する方法を教えていただきたいです。

現在、csvファイル（1列目に文字列）を分かち書きをして出力するところまではできているのですが、ここからストップワード（url = 'https://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
）を除去する方法を模索しております。

ここに質問の内容を詳しく書いてください。
（例）PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import csv
import os
import glob
import re
from janome.tokenizer import Tokenizer

t = Tokenizer()

#データの処理（不要な記号、文字の削除）
def parser(text):
　---省略---

#分かち書き
t = Tokenizer(wakati=True)

#ファイルの指定
path = "./input"
file_list = glob.glob(path + '/' + '*.csv')

#1行目に元データ、2行目に分かち書き結果の出力
for filename in file_list:
    with open(filename, "r+", encoding="cp932", errors="ignore",newline="") as f:
        reader = csv.DictReader(f, delimiter=',')
        texts = [dict(text=c["text"], result=parser(c["text"]) ) for c in reader]
        f.seek(0)
        fieldnames = ['text', 'result']
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        for row in texts:
         writer.writerow(row)
         for row in texts:
　　　　　　 writer.writerow(row)

回答1件

ベストアンサー

stopwordsを格納したsetを作っておき、処理の過程で単語を要素としているlistができるでしょうから（できない書き方をしているのであれば、できるように見直してください）、ループか内包表記を使ってsetに含まれないものだけ残します。

単純な例を以下に示します。

python
1>>> lst = ['吾輩', 'は', '猫', 'で', 'ある', '。']
2>>> stop_words = {"は", "で", "ある", "。"}
3>>> lst = [x for x in lst if x not in stop_words]
4>>> lst
5['吾輩', '猫']