AWS EC2 S3 大量 データ 扱い 機械学習 深層学習

Question

回答者の皆様宜しくお願い致します.

今まで深層学習・強化学習はローカルマシンで行っていたのですが、マシンのスペックが物足りなくなりAWS様に頼る事にしました。(AWS初心者です)
p2.8xlargeのインスタンスを用いたニューラルネットワークの訓練をした際のログデータがあり、そのデータをローカルマシンにダウンロードがしたい。
ここで疑問に思ったのが、
１）90GB以上のあるデータをどのようにして高速にダウンロードするか
現状、scpを用いて少量データのダウンロードをしている
2) scpを用いての90GBのダウンロードには時間が掛かる、インスタンスを稼働維持しなければならない=インスタンス稼働料金が増加する
(稼働せずに必要なデータを落としたい 方法がわからない そもそも方法があるのかも わからない)
3) 最近、S3を知ったけどEC2との連携がわからない　連携が出来たとしてもインスタンス稼働せずにS3に移したデータを落とせるか わからない

以上の3つの疑問がわかりません
AWSを熟知している方がいればどうかご教授くださいませ。
また、参考となるサイトがあればご教示くださいませ。
上記の内容だけでは、解釈が難しいと思いますが宜しくお願い致します。

Answer 1

さすがにそんなに重いファイルでは最終的にネットワークがボトルネックになって時間がかかるのを避けられないと思うのですが…。

3についてはcliがあるのでそれを使えば簡単です。
S3に置いてしまえばブラウザでS3コンソールにアクセスしてダウンロードすることも出来ますし、ローカルからcliを使ってダウンロードもできます。
使い方は調べればすぐ出てくるので細かくは割愛します。

cliでS3にアップロードする→S3に置いてダウンロードする形にすれば、2のダウンロード中にインスタンスを稼働し続けなければならない問題も軽減されますし、ダウンロードの時間もscpよりは速いでしょうけど、いずれにしてもインターネット経由のダウンロードなのでそこまで劇的に速くなることはあまり期待できないと思います。

あと、ケチりたいならスポットインスタンスを使うことをお勧めします。
デフォルトだと使用終了時にTerminateされてしまいますが、残しておきたいならスポットリクエストが切れた時にTerminateではなくStopになるように設定しておけばいいと思います。

Comments

[SitsumonSimasu]

yu_1985さん、御回答ありがとうございます。
おっしゃる通りです。データの容量が大容量で正直何か他の手がないかと探していました。
やはり、S3の利用が最適だと理解しました。
これから、S3についてきちんと調べて利用しようと思います。
ありがとうございます。