word2vecで名詞のみかつリスト化された文章から分散表現取得

Question

word2vecで名詞のみかつリスト化された文章から分散表現取得取得したいです。
gensim のword2vecを使用します。分散表現はPC にファイルとして保存したいです。
形態素解析器 mecabでcookpadのレシピの名詞のみを抽出してみました。

from pymongo import MongoClient
from bs4 import BeautifulSoup
import MeCab
mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd')
def main():
    recipes = []
    client = MongoClient('localhost', 27017)
    db = client.html.cookpad_html
    collection = db.test_collection
    htmls = list(db.find().limit(100))
    recipes = []
    for num, html in enumerate(htmls):
        soup = BeautifulSoup(html["html"], 'lxml')
        for steps in soup.find_all(attrs={"class": "step_text"}):
            node = mecab.parseToNode(steps.get_text())     
            
            while node:
                if node.feature.split(",")[0] == '名詞':
                    recipes.append(node.feature.split(",")[6])
                node = node.next 
                recipes = list(set(recipes))
    print(recipes)

if __name__ == '__main__':
    main()
    
text = 'main()'
file = open('text_file_name.txt', 'w')
file.write(text)
file.close()    
    
from gensim.models import word2vec
data = word2vec.Text8Corpus('text_file_name.txt')
model = word2vec.Word2Vec(data, size=200,min_count=1)

out=model.most_similar(positive=[u'チョコ'])
for x in out:
    print (x[0],x[1])

白玉粉', 'クッキング', 'キュート', 'もみ', '目', '皆さま', '白餡', 'ツヤ', 'リンゴ', '際', '手', '耳たぶ', '坊ちゃん', '方法', '順番', '以降', '卵焼き', '注意', '赤ワイン', 'グラス', '片栗', 'りんご', 'レーズン', 'スーパー', 'ジャム', 'ゴム', '改訂', '感', '気泡', '未満', 'ｃｃ', 'イチゴ', 'マーマレード',
こんな感じで、名詞は沢山出てきたんですけど、
エラーがKeyError: "word 'チョコ' not in vocabulary"と出ました。どうすればいいですか？

Answer 1

やりたいことが少し見えてきました。

もしかしたら、レシピ毎の単語からコーパスを作成し、それを元に word2vecモデルを作成したいということでしょうか。

であれば、前半部は単語を全て並べた１次元リストではなくて、ページ毎に単語を並べた２次元のリストが必要となりますので

from pymongo import MongoClient
from bs4 import BeautifulSoup
import MeCab
mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd')
def main():
    recipes = []
    client = MongoClient('localhost', 27017)
    db = client.html.cookpad_html
    collection = db.test_collection
    htmls = list(db.find().limit(100))
    recipes = []
    for num, html in enumerate(htmls):
        soup = BeautifulSoup(html["html"], 'lxml')
        for steps in soup.find_all(attrs={"class": "step_text"}):
            node = mecab.parseToNode(steps.get_text())
            recipe = []
            while node:
                if node.feature.split(",")[0] == '名詞':
                    recipe.append(node.feature.split(",")[6])
                node = node.next
        recipes.append(recipe)
    print(recipes)

のようになり、後半部を

from gensim.models import word2vec
model = word2vec.Word2Vec(recipes, size=200,min_count=1)

out = model.most_similar(positive=[u'チョコ'])
for x in out:
    print (x[0],x[1])

のようにするとよいのではないでしょうか。

---

【修正コード】

from pymongo import MongoClient
from bs4 import BeautifulSoup
import MeCab
from gensim.models import word2vec

mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd')
def main():
    recipes = []
    client = MongoClient('localhost', 27017)
    db = client.html.cookpad_html
    collection = db.test_collection
    htmls = list(db.find().limit(100))
    recipes = []
    for num, html in enumerate(htmls):
        soup = BeautifulSoup(html["html"], 'lxml')
        for steps in soup.find_all(attrs={"class": "step_text"}):
            node = mecab.parseToNode(steps.get_text())

            while node:
                if node.feature.split(",")[0] == '名詞':
                    recipes.append(node.feature.split(",")[6])
                node = node.next
                recipes = list(set(recipes))
    print(recipes)

    model = word2vec.Word2Vec(recipes, size=200,min_count=1)

    out = model.most_similar(positive=[u'チョコ'])
    for x in out:
        print (x[0],x[1])


if __name__ == '__main__':
    main()

Comments

[kawauso.love]

おおお！多分ですけど、そうです！そういうことをやりたいです！月曜日、このコードでやってみます！ありがとうございます！また教えて下さい！

[kawauso.love]

このコードを打って動かしてみたら、
model = word2vec.Word2Vec(recipes, size=200,min_count=1) この行で、
NameError: name 'recipes' is not definedこのエラーが出てきました。なんでですか？

[magichan]

前半部の修正も行う必要がありますが、こちらは行ってますか？

[kawauso.love]

あ、やってないです！どうやって修正すればいいですか？

[magichan]

回答に記載している前半部のコードが修正済みコードになりますので、これに書き換えてください。

[kawauso.love]

```python3
from pymongo import MongoClient
from bs4 import BeautifulSoup
import MeCab
mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd')
def main():
recipes = []
client = MongoClient('localhost', 27017)
db = client.html.cookpad_html
collection = db.test_collection
htmls = list(db.find().limit(10))
recipes = []
for num, html in enumerate(htmls):
soup = BeautifulSoup(html["html"], 'lxml')
for steps in soup.find_all(attrs={"class": "step_text"}):
node = mecab.parseToNode(steps.get_text())
recipe = []
while node:
if node.feature.split(",")[0] == '名詞':
recipe.append(node.feature.split(",")[6])
node = node.next
recipes.append(recipe)
print(recipes)

if __name__ == '__main__':
main()

text = 'main()'
file = open('text_file_name.txt', 'w')
file.write(text)
file.close()

from gensim.models import word2vec
model = word2vec.Word2Vec(recipes, size=200,min_count=1)

out = model.most_similar(positive=[u'チョコ'])
for x in out:
print (x[0],x[1])
```

[kawauso.love]

なんどもすみません、こんな感じで、回答してくださったものをコピペしたら、['ラップ', '６', '０', '０', '*', 'レンジ', '３', '分', '*', '４', '分', '加熱'], ['他', '姉妹', 'レシピ', '何', '点', '紹介', '*'], ['感じ', '*', '見た目', '変', '絶品', '*'], ['電子', 'レンジ', 'お菓子', '饅頭', '大福', 'カテゴリ', '承認', '*', '*', '*', '*'], ['ラップ', 'レン', 'チン', '*', '分', '半'], ['片栗粉', '手', '*', '同様', '*', '個'], ['荒', '熱', '冷蔵庫'], ['他', '姉妹', 'レシピ', '何', '点', '紹介', '*'], ['*', '*', '*', '*', '*', '話題', '入り', '*', '*', '*'], ['こちら', 'オーブン', 'バージョン', '*', '*', '*']] このように、二次元リストの単語は出てきたんですけど、エラーが、34 model = word2vec.Word2Vec(recipes, size=200,min_count=1)ここで、NameError: name 'recipes' is not defined と出ました。どうすればいいですか？

[magichan]

あーなるほど、、あとで修正コードをあげますが、とりあえずは
def main():
____recipes = []
の部分 (_はスペースです)に "global recipes" を追加して
def main():
____global recipes
____recipes = []
としてみてください
recipes = []の間に

[kawauso.love]

ありがとうございます！やってみたんですけど、何にも変わらなかったです。

[magichan]

あーゴメン
recipes = []
def main():
____global recipes
でどうでしょう。

[magichan]

とおもったけど、回答に修正コードをあげましたので、こちらをお使いください

[kawauso.love]

おおお！もう、本当にありがとうございます。
"word 'チョコ' not in vocabulary"というエラーが出てきて、チョコをレシピにある単語に変えてもできなかったです。分散表現を取得したいんですけど、どうすればいいですか？何度もすみません。

[magichan]

んーーーなんでだろ？？
途中 print(recipes) で出力される２次元リスト中にある単語入れても駄目ですか？

[kawauso.love]

入れたけどだめでした(T . T)

Answer 2

word2vecのmostsimilarは与えた単語をベクトル化して、最も近似するベクトルを有する単語を返す関数です。エラーからすると、チョコや白玉などの単語がモデルにないことが原因です。

まず、

data=　略

となっていますが、この中身はどうなっているかを確認したほうがいい気がします。なんとなくこのdataがおかしくなっていてモデルが構築できていない気がします。

Comments

[kawauso.love]

わかりました！丁寧にありがとうございます。ちょっと調べてやってみます！

Answer 3

｢似た単語がなかった｣と判定されたのでしょう。
エラー処理を入れてあげれば良いかと思います。
※similarなので全く同じ単語は対象外なのでしょう

Comments

[kawauso.love]

分かりました！ありがとうございます。most_similarのところをどうかえればいいですか？コード教えていだだけると助かります

Answer 4

こんな感じで、名詞は沢山出てきたんですけど

チョコがないんでしょう?

---

こんな感じで、名詞は沢山出てきたんですけど

チョコがないんでしょう?

---

text = 'main()'
file = open('text_file_name.txt', 'w')
file.write(text)
file.close() 

では text_file_name.txt は　　main() の6文字になっているはず。

なので、作られたボキャブラリーはmain()の1単語だけが含まれているのでは?

---

こんな感じで、名詞は沢山出てきたんですけど、

は

print(recipes)

の行の結果を見ているだけでしょう。

Comments

[kawauso.love]

チョコを白玉粉とかに変えてもできなかったです

[kawauso.love]

あー！そういうことだったんですね！！教えていただいてありがとうございます