stopwordsを除去する方法（python,janome)
解決済
回答 1
投稿
- 評価
- クリップ 0
- VIEW 2,713
退会済みユーザー
前提・実現したいこと
分かち書きを行い、ストップワードを除去する方法を教えていただきたいです。
現在、csvファイル（1列目に文字列）を分かち書きをして出力するところまではできているのですが、ここからストップワード（url = 'https://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
）を除去する方法を模索しております。
ここに質問の内容を詳しく書いてください。
（例）PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。
発生している問題・エラーメッセージ
エラーメッセージ該当のソースコード
import csv
import os
import glob
import re
from janome.tokenizer import Tokenizer
t = Tokenizer()
#データの処理（不要な記号、文字の削除）
def parser(text):
---省略---
#分かち書き
t = Tokenizer(wakati=True)
#ファイルの指定
path = "./input"
file_list = glob.glob(path + '/' + '*.csv')
#1行目に元データ、2行目に分かち書き結果の出力
for filename in file_list:
with open(filename, "r+", encoding="cp932", errors="ignore",newline="") as f:
reader = csv.DictReader(f, delimiter=',')
texts = [dict(text=c["text"], result=parser(c["text"]) ) for c in reader]
f.seek(0)
fieldnames = ['text', 'result']
writer = csv.DictWriter(f, fieldnames=fieldnames)
for row in texts:
writer.writerow(row)
for row in texts:
writer.writerow(row)-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
0
stopwordsを格納したsetを作っておき、処理の過程で単語を要素としているlistができるでしょうから（できない書き方をしているのであれば、できるように見直してください）、ループか内包表記を使ってsetに含まれないものだけ残します。
単純な例を以下に示します。
>>> lst = ['吾輩', 'は', '猫', 'で', 'ある', '。']
>>> stop_words = {"は", "で", "ある", "。"}
>>> lst = [x for x in lst if x not in stop_words]
>>> lst
['吾輩', '猫']投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.33%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2019/06/07 16:42
修正して質問しなおしましたので、見ていただけると嬉しいです。
2019/06/08 05:43 編集