Word2vecを使って,各単語のベクトルの和から1文あたりのベクトルを求めるプログラムを書いているのですが,うまく動きません.
どのように書けばうまく求めれるの教えていただきたいです.
自分でやってみた方法として,文章を文単位に分割し,Mecabを使って分かち書きを行いました.
分かち書きを行なった単語からWord2vecを使ってベクトルの算出はできるのですが,リストに空の値が出てきたしして,各単語のベクトルを足した1文あたりのベクトルが求めることができません.
途中まで,自力でコードを書いてみたのですが,空の要素などをうまく削除できないため,全てのベクトルを算出することができません.
どなたか力を貸していただけないでしょうか?
import MeCab import re from gensim.models import word2vec #テキストファイル読み込み f = open('test2.txt') data1 = f.read() # ファイル終端まで全て読んだデータを返す f.close() #分かち書き tagger = MeCab.Tagger("-Owakati") result = tagger.parse(data1) result1 = re.sub('[、]', '',result) print(result1) #文章を文単位に分割 print(result) data2 = result.split('。') #word2vec学習データ data = word2vec.Text8Corpus('test2_wakati.txt') model = word2vec.Word2Vec(data, size=100,min_count=1) model.save("sample.model") print(data) #print(data1) #print(data2) #data3 = data2.split(' ') #print(data2) #各文と単語の二重リストを作成 data4 = [] data3_1 = [] for i in range(len(data2)): print(i) data3 = data2[i].split(' ') data3.pop() data4.append(data3) #print(data4) #word2cevから各単語の特徴ベクトルを算出 for i in range(len(data4)): for b in range(len(data4[i])): print(b) print(model[data4[i][b]])
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。