🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
Word

Microsoft WordはMicrosoftが開発した業務用の文書生成用のソフトウェアです。

保存

保存(save)とは、特定のファイルを、ハードディスク等の外部記憶装置に記録する行為を指します。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

1回答

1559閲覧

word2vec 分散表現 エラーコードが分かりません

kawauso.love

総合スコア23

Word

Microsoft WordはMicrosoftが開発した業務用の文書生成用のソフトウェアです。

保存

保存(save)とは、特定のファイルを、ハードディスク等の外部記憶装置に記録する行為を指します。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

0クリップ

投稿2019/09/30 06:09

word2vecで名詞のみかつリスト化された文章から分散表現取得。
gensim のword2vecを使用し
分散表現はPC にファイルとして保存したいです。

python3

1from pymongo import MongoClient 2from bs4 import BeautifulSoup 3import MeCab 4mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd') 5def main(): 6 recipes = [] 7 client = MongoClient('localhost', 27017) 8 db = client.html.cookpad_html 9 collection = db.test_collection 10 htmls = list(db.find().limit(1)) 11 recipes = [] 12 for num, html in enumerate(htmls): 13 soup = BeautifulSoup(html["html"], 'lxml') 14 for steps in soup.find_all(attrs={"class": "step_text"}): 15 node = mecab.parseToNode(steps.get_text()) 16 17 while node: 18 if node.feature.split(",")[0] == '名詞': 19 recipes.append(node.feature.split(",")[6]) 20 node = node.next 21 recipes = list(set(recipes)) 22 print(recipes) 23 24if __name__ == '__main__': 25 main() 26 27text = 'main()' 28file = open('text_file_name.txt', 'w') 29file.write(text) 30file.close() 31 32from janome.tokenizer import Tokenizer 33from gensim.models import word2vec 34# 単語の分かち書き&スペースで区切る 35 36import codecs 37 38text_space = "" 39t = Tokenizer() 40with codecs.open('text_file_name.txt', 'r', 'utf-8') as f: 41 txt = f.read() 42for token in t.tokenize(txt, stream=True): 43 text_space += token.surface 44 text_space += " " 45# ファイル書き込み 46with codecs.open('wakachigaki_file_name.txt', 'w', 'utf-8') as file: 47 file.write(text_space) 48# Word2vecのモデルの作成 49sentences = word2vec.LineSentence('wakachigaki_file_name.txt') 50model = word2vec.Word2Vec(sentences, 51 sg=1, 52 size=100, 53 min_count=1, 54 window=10, 55 hs=1, 56 negative=0) 57model.save('model_name.model') 58# モデルの読み込みと類義語の計算 59model = word2vec.Word2Vec.load("model_name.model") 60 61 62 63model.most_similar(positive="単語", topn=10) 64

"word '単語' not in vocabulary"エラーコードです。
急ぎで誰か教えて下さい。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

quickquip

2019/09/30 07:40

"word '単語' not in vocabulary" と書いてあるとおりでは?
kawauso.love

2019/09/30 08:31

それをどうやって直したらいいか分かりません。教えてください!
quickquip

2019/09/30 09:01 編集

ボキャブラリー(≒wakachigaki_file_name.txt の中身)を知るのはあなただけ つまり他人が回答できるような質問になってないのです
kawauso.love

2019/10/04 06:42

ありがとうございます。やってみます。
guest

回答1

0

エラーメッセージによると学習させたword2vecのモデルに"単語"という語が含まれていないことが原因のようです。
よって"単語"を含む文章を加えて再学習させるといいかと思います

投稿2019/09/30 07:42

R.Shigemori

総合スコア3376

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kawauso.love

2019/09/30 08:34

回答ありがとうございます(o^^o) でも、どういうコード書けばいいかわからないです。詳しく教えていだだけると助かります
R.Shigemori

2019/09/30 08:43

コードの問題ではありません。データベースの文章に"単語"という語が含まれていない限り、期待する結果は得られません。
kawauso.love

2019/10/04 06:42

ありがとうございます。やってみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問