ストップワードを除去しきれない
解決済
回答 1
投稿
- 評価
- クリップ 0
- VIEW 911
リアルタイムのツイート群から抽出した名詞を対象に、辞書を構築したいと考えています。
ストップワードを除去してコードを実行したところ、下記のValueErrorが出てしまいました。
これに関して、解決策を教えていただけませんでしょうか?
宜しくお願いします。
エラー
Traceback (most recent call last):
File "final.py", line 117, in <module>
stream.sample()
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 449, in sample
self._start(is_async)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 389, in _start
self._run()
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 320, in _run
six.reraise(*exc_info)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/six.py", line 693, in reraise
raise value
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 289, in _run
self._read_loop(resp)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 351, in _read_loop
self._data(next_status_obj)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 323, in _data
if self.listener.on_data(data) is False:
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/tweepy/streaming.py", line 54, in on_data
if self.on_status(status) is False:
File "final.py", line 99, in on_status
tfidf = vectorizer.fit_transform(corpus)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/sklearn/feature_extraction/text.py", line 1652, in fit_transform
X = super().fit_transform(raw_documents)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/sklearn/feature_extraction/text.py", line 1058, in fit_transform
self.fixed_vocabulary_)
File "/Users/macuser/Workspaces/jxpress/trendword/.direnv/python-3.7.3/lib/python3.7/site-packages/sklearn/feature_extraction/text.py", line 989, in _count_vocab
raise ValueError("empty vocabulary; perhaps the documents only"
ValueError: empty vocabulary; perhaps the documents only contain stop words
該当のソースコード
import os
import tweepy
import redis
import math
from collections import Counter
from collections import defaultdict
import re
from natto import MeCab
import codecs
import sys
from sklearn.feature_extraction.text import TfidfVectorizer
import glob
import numpy as np
import urllib.request
from gensim import corpora
from itertools import chain
#frequency = defaultdict(int)
#r = redis.Redis(host='localhost', port=6379, db=0)
TWITTER_CLIENT_ID = os.environ['TWITTER_CLIENT_ID']
TWITTER_CLIENT_SECRET = os.environ['TWITTER_CLIENT_SECRET']
TWITTER_OAUTH_TOKEN = os.environ['TWITTER_OAUTH_TOKEN']
TWITTER_OAUTH_TOKEN_SECRET = os.environ['TWITTER_OAUTH_TOKEN_SECRET']
auth = tweepy.OAuthHandler(TWITTER_CLIENT_ID,TWITTER_CLIENT_SECRET)
auth.set_access_token(TWITTER_OAUTH_TOKEN,TWITTER_OAUTH_TOKEN_SECRET)
class StreamListener(tweepy.StreamListener):
def __init__(self):
super().__init__()
self.count = 0 # 取得したtweet数
def on_status(self, status):
text = str(status.text)
#https://www.pytry3g.com/entry/master-Preprocessing#正規表現を使う
text = re.sub(r"http\S+", "", text)
text = re.sub(r"@(\w+) ", "", text)
text = re.sub(r"#(\w+)", "", text)
#リツイートは消えていない
text = re.sub(r"(^RT.*)", "", text, flags=re.MULTILINE | re.DOTALL)
#絵文字も消したい
emoji_pattern = re.compile("["
u"\U0001F600-\U0001F64F"
u"\U0001F300-\U0001F5FF"
u"\U0001F680-\U0001F6FF"
u"\U0001F1E0-\U0001F1FF"
"]+", flags=re.UNICODE)
text = emoji_pattern.sub("", text)
#日本語ツイートをファイルに書き込んでいる + ツイートの数を表示
if status.lang == "ja":
self.count += 1
print(self.count, text)
with open("test45.txt", "a", encoding="utf-8") as f:
f.write(text)
with codecs.open("test45.txt", "r", "utf-8") as f:
corpus = f.read().split("\n")
mecab = MeCab('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')
#if tagger.lang == 'ja':
#名詞の抽出と整形
rm_list = ["RT","https","co","さん","フォロー","本日","応募","今日","プレゼント","お金","FGO","無料","本人","投稿","動画","ツイート","リツイート","Twitter","ローソン","Peing","http","Amazonギフト券","bot","発売中","Youtube","www","WWW","質問箱","コラボ","フォロワー","DM","いいね","RT","lawson","://","!","peing","youtube","抽選","jp","リプ","キャンペーン","チケット","期間限定","DHC","日本","amp","人間","チャンネル","配信中","YouTube","WEB","楽しみ","イラスト","くじ","@","__"]
stop_words = []
path = 'stop_words.txt'
with open(path) as g:
stop_words = g.readlines()
docs = []
for txt in corpus:
words = mecab.parse(txt, as_nodes=True)
doc = []
for w in words:
if w.feature.split(",")[0] == "名詞":
if len(w.surface) >= 3:
if not any(rm in w.surface for rm in rm_list):
doc.extend(str(w.surface))
docs.extend(doc)
corpus = docs
#辞書の構築
dictionary = corpora.Dictionary([corpus])
dictionary.filter_extremes(no_below=20, no_above=0.5)
dictionary.save_as_text('test40-dic8.txt')
#単語の頻出度の抽出
counter = Counter(chain.from_iterable(corpus))
for word, count in counter.most_common():
if count > 19:
print(f"{word}: {count}")
#tf-idf計算
vectorizer = TfidfVectorizer(min_df=0.02)
tfidf = vectorizer.fit_transform(corpus)
#スコアの表示
print(tfidf.toarray())
# テキストの数、出現した単語の数
print(tfidf.shape)
#並べ替え
feature_names = np.array(vectorizer.get_feature_names())
for vec in tfidf:
index = np.argsort(vec.toarray(), axis=1)[:,::-1]
feature_words = feature_names[index]
print(feature_words[:,:10])
def on_error(self, status_code):
return False
stream = tweepy.Stream(auth=auth, listener=StreamListener())
stream.sample()
補足情報(FW/ツールのバージョンなど)
iOS 10.12.6, Python 3.7.3, Atom
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+2
ストップワードどうこうではなくて、データの作り方が間違っているように思います。doc.extend(str(w.surface))
ではなくdoc.append(w.surface)
に、docs.extend(doc)
ではなくdocs.append(doc)
にしてください。TfidfVectorizer
の側ではTfidfVectorizer(min_df=0.02, analyzer=lambda x:x)
とするなどして調整してください。
あと、if not any(rm in w.surface for rm in rm_list):
の部分も意図がよくわかりません。w.surface not in rm_list
とかでいいのでは。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.32%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2019/08/19 18:03