🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

4回答

1173閲覧

word2vecで名詞のみかつリスト化された文章から分散表現取得

kawauso.love

総合スコア23

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/10/04 06:41

word2vecで名詞のみかつリスト化された文章から分散表現取得取得したいです。
gensim のword2vecを使用します。分散表現はPC にファイルとして保存したいです。
形態素解析器 mecabでcookpadのレシピの名詞のみを抽出してみました。

python3

1from pymongo import MongoClient 2from bs4 import BeautifulSoup 3import MeCab 4mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd') 5def main(): 6 recipes = [] 7 client = MongoClient('localhost', 27017) 8 db = client.html.cookpad_html 9 collection = db.test_collection 10 htmls = list(db.find().limit(100)) 11 recipes = [] 12 for num, html in enumerate(htmls): 13 soup = BeautifulSoup(html["html"], 'lxml') 14 for steps in soup.find_all(attrs={"class": "step_text"}): 15 node = mecab.parseToNode(steps.get_text()) 16 17 while node: 18 if node.feature.split(",")[0] == '名詞': 19 recipes.append(node.feature.split(",")[6]) 20 node = node.next 21 recipes = list(set(recipes)) 22 print(recipes) 23 24if __name__ == '__main__': 25 main() 26 27text = 'main()' 28file = open('text_file_name.txt', 'w') 29file.write(text) 30file.close() 31 32from gensim.models import word2vec 33data = word2vec.Text8Corpus('text_file_name.txt') 34model = word2vec.Word2Vec(data, size=200,min_count=1) 35 36out=model.most_similar(positive=[u'チョコ']) 37for x in out: 38 print (x[0],x[1])

白玉粉', 'クッキング', 'キュート', 'もみ', '目', '皆さま', '白餡', 'ツヤ', 'リンゴ', '際', '手', '耳たぶ', '坊ちゃん', '方法', '順番', '以降', '卵焼き', '注意', '赤ワイン', 'グラス', '片栗', 'りんご', 'レーズン', 'スーパー', 'ジャム', 'ゴム', '改訂', '感', '気泡', '未満', 'cc', 'イチゴ', 'マーマレード',
こんな感じで、名詞は沢山出てきたんですけど、
エラーがKeyError: "word 'チョコ' not in vocabulary"と出ました。どうすればいいですか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答4

0

ベストアンサー

やりたいことが少し見えてきました。

もしかしたら、レシピ毎の単語からコーパスを作成し、それを元に word2vecモデルを作成したいということでしょうか。

であれば、前半部は単語を全て並べた1次元リストではなくて、ページ毎に単語を並べた2次元のリストが必要となりますので

Python

1from pymongo import MongoClient 2from bs4 import BeautifulSoup 3import MeCab 4mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd') 5def main(): 6 recipes = [] 7 client = MongoClient('localhost', 27017) 8 db = client.html.cookpad_html 9 collection = db.test_collection 10 htmls = list(db.find().limit(100)) 11 recipes = [] 12 for num, html in enumerate(htmls): 13 soup = BeautifulSoup(html["html"], 'lxml') 14 for steps in soup.find_all(attrs={"class": "step_text"}): 15 node = mecab.parseToNode(steps.get_text()) 16 recipe = [] 17 while node: 18 if node.feature.split(",")[0] == '名詞': 19 recipe.append(node.feature.split(",")[6]) 20 node = node.next 21 recipes.append(recipe) 22 print(recipes)

のようになり、後半部を

Python

1from gensim.models import word2vec 2model = word2vec.Word2Vec(recipes, size=200,min_count=1) 3 4out = model.most_similar(positive=[u'チョコ']) 5for x in out: 6 print (x[0],x[1])

のようにするとよいのではないでしょうか。


【修正コード】

Python

1from pymongo import MongoClient 2from bs4 import BeautifulSoup 3import MeCab 4from gensim.models import word2vec 5 6mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd') 7def main(): 8 recipes = [] 9 client = MongoClient('localhost', 27017) 10 db = client.html.cookpad_html 11 collection = db.test_collection 12 htmls = list(db.find().limit(100)) 13 recipes = [] 14 for num, html in enumerate(htmls): 15 soup = BeautifulSoup(html["html"], 'lxml') 16 for steps in soup.find_all(attrs={"class": "step_text"}): 17 node = mecab.parseToNode(steps.get_text()) 18 19 while node: 20 if node.feature.split(",")[0] == '名詞': 21 recipes.append(node.feature.split(",")[6]) 22 node = node.next 23 recipes = list(set(recipes)) 24 print(recipes) 25 26 model = word2vec.Word2Vec(recipes, size=200,min_count=1) 27 28 out = model.most_similar(positive=[u'チョコ']) 29 for x in out: 30 print (x[0],x[1]) 31 32 33if __name__ == '__main__': 34 main()

投稿2019/10/04 10:28

編集2019/10/07 05:13
magichan

総合スコア15898

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kawauso.love

2019/10/04 12:17

おおお!多分ですけど、そうです!そういうことをやりたいです!月曜日、このコードでやってみます!ありがとうございます!また教えて下さい!
kawauso.love

2019/10/07 03:04

このコードを打って動かしてみたら、 model = word2vec.Word2Vec(recipes, size=200,min_count=1) この行で、 NameError: name 'recipes' is not definedこのエラーが出てきました。なんでですか?
magichan

2019/10/07 03:08

前半部の修正も行う必要がありますが、こちらは行ってますか?
kawauso.love

2019/10/07 03:41

あ、やってないです!どうやって修正すればいいですか?
magichan

2019/10/07 04:13

回答に記載している前半部のコードが修正済みコードになりますので、これに書き換えてください。
kawauso.love

2019/10/07 04:28

```python3 from pymongo import MongoClient from bs4 import BeautifulSoup import MeCab mecab = MeCab.Tagger ('/usr/local/lib/mecab/dic/mecab-ipadic-neologd') def main(): recipes = [] client = MongoClient('localhost', 27017) db = client.html.cookpad_html collection = db.test_collection htmls = list(db.find().limit(10)) recipes = [] for num, html in enumerate(htmls): soup = BeautifulSoup(html["html"], 'lxml') for steps in soup.find_all(attrs={"class": "step_text"}): node = mecab.parseToNode(steps.get_text()) recipe = [] while node: if node.feature.split(",")[0] == '名詞': recipe.append(node.feature.split(",")[6]) node = node.next recipes.append(recipe) print(recipes) if __name__ == '__main__': main() text = 'main()' file = open('text_file_name.txt', 'w') file.write(text) file.close() from gensim.models import word2vec model = word2vec.Word2Vec(recipes, size=200,min_count=1) out = model.most_similar(positive=[u'チョコ']) for x in out: print (x[0],x[1]) ```
kawauso.love

2019/10/07 04:31

なんどもすみません、こんな感じで、回答してくださったものをコピペしたら、['ラップ', '6', '0', '0', '*', 'レンジ', '3', '分', '*', '4', '分', '加熱'], ['他', '姉妹', 'レシピ', '何', '点', '紹介', '*'], ['感じ', '*', '見た目', '変', '絶品', '*'], ['電子', 'レンジ', 'お菓子', '饅頭', '大福', 'カテゴリ', '承認', '*', '*', '*', '*'], ['ラップ', 'レン', 'チン', '*', '分', '半'], ['片栗粉', '手', '*', '同様', '*', '個'], ['荒', '熱', '冷蔵庫'], ['他', '姉妹', 'レシピ', '何', '点', '紹介', '*'], ['*', '*', '*', '*', '*', '話題', '入り', '*', '*', '*'], ['こちら', 'オーブン', 'バージョン', '*', '*', '*']] このように、二次元リストの単語は出てきたんですけど、エラーが、34 model = word2vec.Word2Vec(recipes, size=200,min_count=1)ここで、NameError: name 'recipes' is not defined と出ました。どうすればいいですか?
magichan

2019/10/07 04:40

あーなるほど、、あとで修正コードをあげますが、とりあえずは def main(): ____recipes = [] の部分 (_はスペースです)に "global recipes" を追加して def main(): ____global recipes ____recipes = [] としてみてください recipes = []の間に
kawauso.love

2019/10/07 04:58

ありがとうございます!やってみたんですけど、何にも変わらなかったです。
magichan

2019/10/07 05:12

あーゴメン recipes = [] def main(): ____global recipes でどうでしょう。
magichan

2019/10/07 05:14

とおもったけど、回答に修正コードをあげましたので、こちらをお使いください
kawauso.love

2019/10/07 05:42

おおお!もう、本当にありがとうございます。 "word 'チョコ' not in vocabulary"というエラーが出てきて、チョコをレシピにある単語に変えてもできなかったです。分散表現を取得したいんですけど、どうすればいいですか?何度もすみません。
magichan

2019/10/07 06:46

んーーーなんでだろ?? 途中 print(recipes) で出力される2次元リスト中にある単語入れても駄目ですか?
kawauso.love

2019/10/07 07:29

入れたけどだめでした(T . T)
guest

0

word2vecのmostsimilarは与えた単語をベクトル化して、最も近似するベクトルを有する単語を返す関数です。エラーからすると、チョコや白玉などの単語がモデルにないことが原因です。

まず、

data= 略

となっていますが、この中身はどうなっているかを確認したほうがいい気がします。なんとなくこのdataがおかしくなっていてモデルが構築できていない気がします。

投稿2019/10/04 10:05

R.Shigemori

総合スコア3376

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kawauso.love

2019/10/04 12:15

わかりました!丁寧にありがとうございます。ちょっと調べてやってみます!
guest

0

「似た単語がなかった」と判定されたのでしょう。
エラー処理を入れてあげれば良いかと思います。
※similarなので全く同じ単語は対象外なのでしょう

投稿2019/10/04 09:34

meg_

総合スコア10739

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kawauso.love

2019/10/04 09:38

分かりました!ありがとうございます。most_similarのところをどうかえればいいですか?コード教えていだだけると助かります
guest

0

こんな感じで、名詞は沢山出てきたんですけど

チョコがないんでしょう?


こんな感じで、名詞は沢山出てきたんですけど

チョコがないんでしょう?


text = 'main()' file = open('text_file_name.txt', 'w') file.write(text) file.close()

では text_file_name.txt は  main() の6文字になっているはず。

なので、作られたボキャブラリーはmain()の1単語だけが含まれているのでは?


こんな感じで、名詞は沢山出てきたんですけど、

print(recipes)

の行の結果を見ているだけでしょう。

投稿2019/10/04 07:47

編集2019/10/04 14:10
quickquip

総合スコア11231

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kawauso.love

2019/10/04 08:41

チョコを白玉粉とかに変えてもできなかったです
kawauso.love

2019/10/05 02:30

あー!そういうことだったんですね!!教えていただいてありがとうございます
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問