word2vec 分散表現 リストから PCファイルに保存する

Question

PCで名詞のみかつリスト化された文章から分散表現取得

gensim のword2vecを使用し、分散表現はPC にファイルとして保存したいです。
mecabを使い名詞のみリスト化された文章を使いたいです。

from pymongo import MongoClient
from bs4 import BeautifulSoup
import MeCab
mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd')
def main():
    recipes = []
    client = MongoClient('localhost', 27017)
    db = client.html.cookpad_html
    collection = db.test_collection
    htmls = list(db.find().limit(1))
    recipes = []
    for num, html in enumerate(htmls):
        soup = BeautifulSoup(html["html"], 'lxml')
        for steps in soup.find_all(attrs={"class": "step_text"}):
            node = mecab.parseToNode(steps.get_text())     
            
            while node:
                if node.feature.split(",")[0] == '名詞':
                    recipes.append(node.feature.split(",")[6])
                node = node.next 
                recipes = list(set(recipes))
    print(recipes)

if __name__ == '__main__':
    main()
    
text = 'main()'
file = open('text_file_name.txt', 'w')
file.write(text)
file.close()

from janome.tokenizer import Tokenizer
from gensim.models import word2vec
# 単語の分かち書き＆スペースで区切る

import codecs

text_space = ""
t = Tokenizer()
with codecs.open('text_file_name.txt', 'r', 'utf-8') as f:
    txt = f.read()
for token in t.tokenize(txt, stream=True):
    text_space += token.surface
    text_space += " "
# ファイル書き込み
with codecs.open('wakachigaki_file_name.txt', 'w', 'utf-8') as file:
    file.write(text_space)
# Word2vecのモデルの作成
sentences = word2vec.LineSentence('wakachigaki_file_name.txt')
model = word2vec.Word2Vec(sentences,
              sg=1,
              size=100,
              min_count=1,
              window=10,
              hs=1,
              negative=0)
model.save('model_name.model')
# モデルの読み込みと類義語の計算
model = word2vec.Word2Vec.load("model_name.model")


        
model.most_similar(positive="単語", topn=10)

"word '単語' not in vocabulary" とエラー文が出たきました。

https://lib-arts.hatenablog.com/entry/nlp_tutorial3

このサイトを参考にしました。
どうすればいいのか分からないので教えて下さい。

Comments

[dice142]

ファイルの保存がわからないのかと思いましたが、質問文を読むとデータの読み込みがわからないように読めます。
どちらなのですか？

[kawauso.love]

どちらも分からないです！！！
上のスクリプトは例で、二番目のスクリプトのword2vecで名詞のみかつリスト化された文章から分散表現取得したいです。

[KojiDoi]

マニュアルを見ればまんま書いてありますよ。

[kawauso.love]

ありがとうございます。やってみます！！！

Answer 1

２番目のスクリプトの最後の行のprint(recipes)をtext_file_name.txtへの書き込みに変えるだけですむのでは……。

Comments

[kawauso.love]

回答ありがとうございます！！！意味は、分かったんですけど、ちょっとどうやってコードで書けばいいのか分からないのでコードを送っていただけると嬉しいです。

[siruku6]

KojiDoiさんの方法だと、こんな感じでしょうか
https://blog.codecamp.jp/python-file-data
大分わかりやすく書かれています
このくらいなら、回答を待つよりも自分で調べちゃった方が早く終わると思います。

今回なら、
python ファイル 保存
とか
python ファイル書き出す
とかですぐに出てきます。

■補足
pythonでたくさんのデータをファイルに書きこむ予定があるのであれば、早いうちにpandasを覚えてしまうとよいと思います。
pandas だとかなり便利にファイル読み書きできますので。

[kawauso.love]

ありがとうございます。
やってみます！！！