Q&A
実現したいこと
EC2(t2.micro)上でpythonスクリプトからword2vecのモデルを読み込み、単語の計算をEC2上でしたいと考えています。
word2vecのモデルはこちらのサイト(http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/)からダウンロードしたモデルを利用する予定です。
問題点
ローカル環境ではgensimからload_word2vec_format()で上記モデルを読み込めるのに対し、
EC2上から実行すると(EC2上にモデルはscp済み)load_word2vec_format()にとても時間が掛かっています。
その後ターミナルにて強制終了と表示され、モデル読み込みの段階でプログラムが終了してしまいます。
pythonのインタラクティブシェルを利用した場合でも、やはりload_word2vec_format()で止まってしまいます。
Python
1>>> from gensim.models import KeyedVectors 2>>> 3>>> model = KeyedVectors.load_word2vec_format( 4... "./word_corpus/entity_vector.model.bin", binary=True) 5 6強制終了
ローカルではモデルを読み込めるのに対し、EC2上では読み込みに時間がかかってしまう原因を知りたいと思っています。
よろしくお願いいたします。
回答1件
0
ベストアンサー
単純にモデルを読み込むのに1GB超のメモリが必要で、t2.microインスタンスではメモリ不足に陥っていると思います。
swap領域の設定などはしていますか。（もっともswap領域の設定をしたとしても、実用的な動作速度にはならない気がしますが）
投稿2019/10/19 13:39
総合スコア11038
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/10/20 06:14