前提・実現したいこと
以下のページを参考に、Word2Vecとgensimを使って、
単語の類似度とコーパスにある類似した単語を出力しようとしています。
Word2Vecを使った文章間の類似度算出(簡易版)
word2vecでベクトルから単語を出力する
発生している問題・エラーメッセージ
ローカル環境(MacOS High Sierra)では、
実行可能で出力も出たのですが、Ubuntu16.04.4では以下のエラーが出てしまい、
どのようにデバッグすればいいか、わからない状態です。
メモリエラーというのもよくわからず、原因と解決方法について教えていただきたいです。
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python3.6/dist-packages/gensim/models/keyedvectors.py", line 508, in most_similar self.init_sims() File "/usr/local/lib/python3.6/dist-packages/gensim/models/keyedvectors.py", line 1364, in init_sims self.vectors_norm = (self.vectors / sqrt((self.vectors ** 2).sum(-1))[..., newaxis]).astype(REAL) MemoryError Error in sys.excepthook: Traceback (most recent call last): File "/usr/lib/python3/dist-packages/apport_python_hook.py", line 63, in apport_excepthook from apport.fileutils import likely_packaged, get_recent_crashes File "/usr/lib/python3/dist-packages/apport/__init__.py", line 5, in <module> from apport.report import Report File "/usr/lib/python3/dist-packages/apport/report.py", line 30, in <module> import apport.fileutils File "/usr/lib/python3/dist-packages/apport/fileutils.py", line 23, in <module> from apport.packaging_impl import impl as packaging File "/usr/lib/python3/dist-packages/apport/packaging_impl.py", line 23, in <module> import apt File "/usr/lib/python3/dist-packages/apt/__init__.py", line 23, in <module> import apt_pkg ModuleNotFoundError: No module named 'apt_pkg' Original exception was: Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python3.6/dist-packages/gensim/models/keyedvectors.py", line 508, in most_similar self.init_sims() File "/usr/local/lib/python3.6/dist-packages/gensim/models/keyedvectors.py", line 1364, in init_sims self.vectors_norm = (self.vectors / sqrt((self.vectors ** 2).sum(-1))[..., newaxis]).astype(REAL) MemoryError
該当のソースコード
Python
1import gensim 2word2vec_model = gensim.models.KeyedVectors.load_word2vec_format('wiki-news-300d-1M.vec', binary=False) 3>>> simwords= word2vec_model.most_similar(positive=['dog'])
試したこと
word2vecとgensimのバージョン確認を以下のコマンドで行いました。
word2vecの方はレスポンスがなかったのですが、
Ubuntu環境にインストールする必要があるのでしょうか。
検索しましたが、word2vecの方はUbuntuでのインストール方法が
わかりませんでした。
% pip list | grep word2vec % pip list | grep gensim gensim 3.5.0
ご回答を受けて追記
% free total used free shared buff/cache available Mem: 4045580 1722240 1317824 36076 1005516 1977800 Swap: 0 0 0
補足情報(FW/ツールのバージョンなど)
Python 3.6
Ubuntu VERSION="16.04.4 LTS (Xenial Xerus)"
使用している学習済みモデル
wiki-news-300d-1M.vec
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
退会済みユーザー
2018/07/28 03:15
2018/07/30 14:05 編集
退会済みユーザー
2018/07/30 21:30 編集