私は現在、文書ベクトル作成手法の一つである「SCDV」に触れてみようと思い、
livedoorニュースコーパスを
https://www.rondhuit.com/download.html
からダウンロードし、
WindowsからSCDVを使ってみる
http://touch-sp.hatenablog.com/entry/2018/02/14/005029
というWebページに書かれているプログラムをそのままコピーし、一つずつ実行していたのですが、
上記ページの「TF-IDFを計算(必要なのはIDFのみ)」という部分の
import pickle import numpy as np import MeCab import re from sklearn.feature_extraction.text import TfidfVectorizer,HashingVectorizer df = pickle.load(open("textdata","rb")) tokenizer = MeCab.Tagger("-Owakati") traindata = [] for review in df["news"]: result = tokenizer.parse(review).replace("\u3000","").replace("\n","") result = re.sub(r'[01234567890123456789!@#$%^&\-|\*\“()_■×※⇒—●(:〜+=)/*&^%$#@!~`){}…[]\"\'\”:;<>?<>?、。・,./『』【】「」→←○]+', "", result) h = result.split(" ") h = filter(("").__ne__, h) traindata.append(" ".join(h)) tfv = TfidfVectorizer(dtype=np.float32) tfidfmatrix_traindata = tfv.fit_transform(traindata) featurenames = tfv.get_feature_names() idf = tfv._tfidf.idf_ word_idf_dict = dict(zip(featurenames, idf)) pickle.dump(word_idf_dict, open("./model/word_idf_dict.pkl", "wb"))
というプログラムを実行した際に、
tfidfmatrix_traindata = tfv.fit_transform(traindata)
の行の部分で
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb8 in position 0: invalid start byte
というエラーが出てしまい、実行が完了しませんでした。
調べてみたところ、参考ページの環境であるPython3と私の環境であるPython2.7の違いによる文字の扱いの違い、もしくはpickleの文字コードなどに原因があるのではと考えているのですが、具体的にプログラムのどこをどのように修正することで動くようになるかわかりません。
お手数ですがご教示宜しくお願い致します。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。