AWS EC2インスタンス Pytorchを導入したい

Question

Pytorchを導入したい

AWS EC2インスタンスにDockerでPython環境を作成し、その中にPyTorchをインストールしたいです。

PyTorchをDockerイメージにインストールを実施した方法になりますが、
導入途中に処理が落ちて導入することが出来ません。

下記のの様にDockerfileを作成しました。
が、Disconnected. Attempting to reconnect...となってしまい導入途中で処理が固まってしまい
導入が出来ませんでした。

エラーメッセージ
Got some output, clearing connection timeout

実施方法

FROM python:3

# アプリケーションディレクトリを作成する
WORKDIR /usr/src/python

COPY requirements.txt ./

RUN pip3 install -r requirements.txt 
# アプリケーションコードをコンテナにコピー
COPY . .

EXPOSE 8000

CMD [ "python", "main.py" ]

numpy
pandas
transformers
matplotlib
seaborn
datasets
fugashi
ipadic
torchvision

質問

導入方法がわからず困っています。
環境立ち上げの方法についてやり方及び参考になるURLを教えて頂けますでしょうか。

Comments

[yu_1985]

単純にインスタンスのスペックが足りない可能性はないですか

[fzet]

現在は
インスタンスタイプ：t2.micro
ボリュームサイズ：35

で実行しようとしています。
足りてないですかね、、、

[yu_1985]

t2.microはメモリが1GBしかありません。
重たいビルドなどが走ると簡単に落ちます。
swap領域を作るか、よくわからなければもう少し性能のいいインスタンスを使って試してみてください。

[fzet]

ご指摘ありがとうございます。　インスタンスの検討を実施することにします。

Answer 1

お使いのDockerfileはPyTorchをインストールするための基本的な手順を含んでいますが、いくつかの問題が考えられます。以下に確認すべきポイントをまとめました。

インターネット接続：Dockerイメージのビルド時にインターネット接続が必要です。AWS EC2インスタンスがインターネットに接続されていることを確認してください。プロキシが必要な場合は、それを設定する必要があります。

ネットワーク接続：apt-getコマンドはネットワーク接続を使用しますので、AWSセキュリティグループやネットワークACLなどの設定によってインターネット接続が制限されていないことを確認してください。

ネットワーク速度：Dockerイメージのビルド中にネットワーク速度が遅い場合、接続がタイムアウトすることがあります。インターネット接続が安定しているかどうかを確認してください。

Dockerイメージのビルドログ：Dockerイメージをビルドする際には、ビルドログが表示されます。ビルドログを確認してエラーメッセージやワーニングメッセージがあるかどうかを確認してください。

これらのポイントを確認しても問題が解決しない場合は、以下の手順を試してみることができます。

Dockerイメージのベースイメージをubuntu:18.04ではなくpython:3に変更します。

ベースイメージを変更した場合は、apt-getコマンドの代わりにpipコマンドを使用してPyTorchをインストールします。具体的には、pip install torchの代わりにpip install torch torchvisionを使用します。

こちらの手順を試してみてください。また、ネットワーク接続やビルドログを確認する際には、AWSのドキュメントやサポートページも参照すると良いでしょう。