Pythonで英単語間の類似度を計算したい
解決済
回答 1
投稿
- 評価
- クリップ 0
- VIEW 1,364
はじめに
こんばんは。
初めての投稿となりますので、至らぬところが多々あるかと思いますが、
何卒よろしくお願いいたします。
実現したいこと
環境 : Python3.6.1
Tkinterを用いて2つのエントリーボックスを表示させ、そのボックスに入力された単語間の類似度を求める、ということを実現したいと考えています。
学習済みモデルは、こちらを使用させていただきました。 : https://qiita.com/Hironsan/items/513b9f93752ecee9e670
こちらの学習済みモデルは日本語のみ対応しているようで、英語の類似度を計算しようとするとエラーを吐いてしまいます。
これを解決するために、英語の学習済みモデルが必要であると考えていますが、見つけられていないのが現状です。お力を貸していただけますと幸いです。
発生している問題・エラーメッセージ
Word2Vecを用いて日本語間の類似度を求めることはできたのですが、いざTkinterを使ってみると、
Tkinterは日本語入力ができないことに気づきました。
Tkinterを日本語入力に対応させることはできないようなので、学習済みモデルを変更することで、英語入力に対応するしか方法がないかと考えています。
以下のエラー文は、英単語"similarity"と同じく"similarity"の類似度を計算しようとした結果表示されたものです。
Traceback (most recent call last):
File "/Users/admin/PycharmProjects/RecommendationSystem/Main.py", line 12, in <module>
pprint.pprint(word_model.similarity(word1, word2))
File "/Users/admin/.pyenv/versions/3.6.1/lib/python3.6/site-packages/gensim/models/word2vec.py", line 1338, in similarity
return dot(matutils.unitvec(self[w1]), matutils.unitvec(self[w2]))
File "/Users/admin/.pyenv/versions/3.6.1/lib/python3.6/site-packages/gensim/models/word2vec.py", line 1318, in __getitem__
return self.syn0[self.vocab[words].index]
KeyError: 'similarity'該当のソースコード
import gensim
import pprint
word_model = gensim.models.Word2Vec.load_word2vec_format('models/model.vec', binary=False)
list1 = ["similarity"]
list2 = ["similarity"]
for word1 in list1:
for word2 in list2:
pprint.pprint(word_model.similarity(word1, word2))-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+1
これを解決するために、英語の学習済みモデルが必要であると考えていますが、見つけられていないのが現状です。お力を貸していただけますと幸いです。
いますぐ使える単語埋め込みベクトルのリストに色々なデータが挙げられています。
私はNLPは門外漢なので、どれが良いのかは分かりませんが、とりあえずLexVecのEnglish Wikipedia 2015 + NewsCrawlのWord Vectors (398MB)を使ってみました。
import gensim
import pprint
file = 'lexvec.enwiki+newscrawl.300d.W.pos.vectors'
# DeprecationWarning: Deprecated. Use gensim.models.KeyedVectors.load_word2vec_format instead.
#word_model = gensim.models.Word2Vec.load_word2vec_format(file, binary=False)
wm_en = gensim.models.KeyedVectors.load_word2vec_format(file)
pprint.pprint(wm_en.similarity('similarity', 'similarity')) # 1.0
pprint.pprint(wm_en.similarity('similarity', 'difference')) # 0.4674517
file = 'model.vec'
wm_jp = gensim.models.KeyedVectors.load_word2vec_format(file, binary=False)
pprint.pprint(wm_jp.similarity('相似', '相似')) # 1.0
pprint.pprint(wm_jp.similarity('相似', '相違')) # 0.34480458投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.36%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
tiitoi
2018/11/08 20:09 編集
Tkinter が駄目なら、PyQt5 とか日本語入力可能な他のGUIフレームワークを使うという手はないのでしょうか？
S_Ch
2018/11/08 20:16 編集
あえて記述しなかったのですが、アプリケーションの開発に必要な一技術が解決できなかったためこのような質問をさせて頂いております。そちらのアプリケーションのGUI面はだいぶ進んでいますので、いまからTkinterを変更する、というのが難しくなっております。申し訳ありません。