word2vec コーパスの学習方法にてエラー発生

Question

前提

word2vecでレビューの名詞を学習させて，その名詞の分散表現を取得したいと考えています．実装はできているのですが，期待通りに動きません．

実現したいこと

• word2vecコーパスを学習させる．
• コーパスの全単語を学習させる．

発生している問題

ソースコード1のword_listにはレビュー文の名詞が二次元リストの形式で格納されています．len(c)では，そのリストに格納されている名詞を重複なしでカウントしています．その結果は2728と出力されています．

しかし，ソースコード2では，452件の単語しか学習できていないことが確認できます．また，「昼過ぎ」という単語の分散表現を取得しようとしたところ，該当する単語がないとエラーが出力されます．もちろん，word_listの中に「昼過ぎ」があることは確認済みです．

この問題を解決したく，2728件の単語を学習させたいです．また，エラーメッセージ1の警告も気になります．batch_wordsを小さくすることを推奨されているようですが，このbatch_wordsがどこに該当するのかもわかりません．

どなたかわかる方，お教えいただければ幸いです．

該当のソースコード1

# Word2Vecライブラリのロード
from gensim.models import word2vec
from collections import Counter
import collections

# size: 圧縮次元数
# min_count: 出現頻度の低いものをカットする
# window: 前後の単語を拾う際の窓の広さを決める
# iter: 機械学習の繰り返し回数(デフォルト:5)十分学習できていないときにこの値を調整する
# model.wv.most_similarの結果が1に近いものばかりで、model.dict['wv']のベクトル値が小さい値ばかりの 
# ときは、学習回数が少ないと考えられます。
# その場合、iterの値を大きくして、再度学習を行います。

# 事前準備したword_listを使ってWord2Vecの学習実施

#docs = word2vec.LineSentence("/content/test1.txt")


for words in word_list:
    for word in words:
        new_word.append(word)
c = collections.Counter(new_word)
print(len(c))


model = word2vec.Word2Vec(word_list, sg = 1, size=100, min_count=5, window=5, iter=10)


model.save("kokoro.model")

エラーメッセージ1

2728
WARNING:gensim.models.base_any2vec:under 10 jobs per worker: consider setting a smaller `batch_words' for smoother alpha decay

該当のソースコード2

print("分散表現の形状：\n{}".format(model.wv.vectors.shape))



分散表現の形状：
(452, 100)

エラーメッセージ1

KeyError                                  Traceback (most recent call last)
<ipython-input-71-703caa5902ad> in <module>
----> 1 print(model.__dict__['wv']['昼過ぎ'])

2 frames
/usr/local/lib/python3.8/dist-packages/gensim/models/keyedvectors.py in word_vec(self, word, use_norm)
    450             return result
    451         else:
--> 452             raise KeyError("word '%s' not in vocabulary" % word)
    453 
    454     def get_vector(self, word):

KeyError: "word '昼過ぎ' not in vocabulary"

Answer 1

回答ではありません

とりあえず全部入れるにはmin_count=1にしないと駄目なんじゃないかと思います。ただし、

https://rare-technologies.com/word2vec-tutorial/

Bigger size values require more training data, but can lead to better (more accurate) models. Reasonable values are in the tens to hundreds.

とのことなので、wvのsizeが1000を超えるのは妥当じゃないようです。

質問の仕方の問題

環境が全く記載されていないので、再現させるために回答者が試行錯誤しないと答えられない質問になっています。

jupyterを使ってるなら(エラーメッセージにipythonが見えるので)、それらを使っている旨が必ず必要です。またその際にcpythonではなくanacondaを使っていたり、pipではなくconda(anacondaの標準的な環境ツール)を使っているならそれは明記する必要があり、インストールしているpythonのパッケージがあるならそれも記載が必要です。そしてそれら各々にバージョンの記載が必要になります。そして当然pythonやOSやそのバージョンも必要です。それらが異なるだけで現象は全く異なってしまいます。

再現環境に近い環境の構築

近いコードを書いてみました。本来ならshell scriptかbatファイル(もしくはpowershellだが懸念点が多すぎる)で書くところだけど、なるべく共通にすべくpythonで書きました。venvで構築した環境に

• mecab-python3 1.0.6(最新)
• unidic-lite 1.0.8(最新)
• gensim 4.3.0(最新)

を入れて、hoge.pyというサンプルコードを含んだファイルを出力して実行します。実行するとサンプルドキュメントを適当に文に分解し、mecabで形態素解析した後、名詞だけにしてword2vecに突っ込んで最後にvocab相当を出力させています。

min_countを2以上にすると、出現回数がその数字未満の単語は消えてしまうのが分かります。

import os
import venv
import subprocess
ENV = 'env'
if os.name == 'posix':
    BIN = 'bin'
else:
    BIN = 'Scripts'
builder = venv.EnvBuilder(with_pip=True)
builder.create(ENV)
python = os.path.join('.', ENV, BIN, 'python')
p = subprocess.run([python, '-m', 'pip', 'install', '--upgrade', 'pip', 'setuptools'])
p = subprocess.run([python, '-m', 'pip', 'install', 'mecab-python3', 'unidic-lite', 'gensim'])
with open('hoge.py', 'wt', encoding='utf8') as f:
    f.write("""\
document = \"\"\"\\
前提

word2vecでレビューの名詞を学習させて，その名詞の分散表現を取得したいと考えています．実装はできているのですが，期待通りに動きません．
実現したいこと

    word2vecコーパスを学習させる．
    コーパスの全単語を学習させる．

発生している問題

ソースコード1のword_listにはレビュー文の名詞が二次元リストの形式で格納されています．len(c)では，そのリストに格納されている名詞を重複なしでカウントしています．その結果は2728と出力されています．

しかし，ソースコード2では，452件の単語しか学習できていないことが確認できます．また，「昼過ぎ」という単語の分散表現を取得しようとしたところ，該当する単語がないとエラーが出力されます．もちろん，word_listの中に「昼過ぎ」があることは確認済みです．

この問題を解決したく，2728件の単語を学習させたいです．また，エラーメッセージ1の警告も気になります．batch_wordsを小さくすることを推奨されているようですが，このbatch_wordsがどこに該当するのかもわかりません．

どなたかわかる方，お教えいただければ幸いです．
\"\"\"
import re
sentences = [*filter(lambda x: x != '', map(str.strip, re.split(r'．|\\n\\n', document)))]
import MeCab 
chasen = MeCab.Tagger() 
words_list = [[*map(lambda x: x[0], filter(lambda x: len(x)>=5 and '名詞' in x[4], [elmline.split() for elmline in chasen.parse(sentence).splitlines()]))] for sentence in sentences]
print(words_list)
new_word = [word for words in words_list for word in words]
import collections
c = collections.Counter(new_word)
print(len(c))
from gensim.models import word2vec
model = word2vec.Word2Vec(words_list, vector_size = 100, min_count=1)
print(f'分散表現の形状：\\n{model.wv.vectors.shape}')
print(f'単語：\\n{model.wv.index_to_key}')
""")
p = subprocess.run([python, 'hoge.py'])

Comments

[maro]

ありがとうございます．解決できました．また，その他のご指摘も助かりました．

Answer 2

min_count=1 で実行してください。