python 高速実行する環境について AWS

Question

#解決したいこと

Mac Book AirでPython実行環境を作って実行していますが、速度が遅いです。
そのため、高速に処理ができる環境をAWSに構築したいと考えており、アドバイスが欲しいです。

#やっていること

遺伝的アルゴリズムで最適解の探索を行っています。
そのため、forループによってプログラム全体で100億回程度ループします。

データはローカルのCSVから読み込むため、ネットワーク速度は関係ありません。
for文によるループが大量にあるだけです。

#考えていること
EC２インスタンスのメモリを重視してAWSインスタンスを選択しておりますが、他に考慮する点はありますでしょうか？
利用して結果が出たらインスタンスは停止させるため、料金についてはそれほど気にしておりません。

Comments

[meg_]

現在はどの種類のものを使用しているのでしょうか？

Answer 1

• CPUインスタンスを使う
• pypyやcythonで高速化を狙う
• ループ部分をProcessPoolExecutorで並列化してみる

Answer 2

メモリじゃなくてCPUがネックになっている可能性はありませんか？

もっとも、スペック的なところは実際のリソース消費やプログラムをみなければCPUなのかメモリなのかどれがボトルネックになってるのかがわからないのでなんとも言えません。
ここで言えるのは単純にでかいインスタンスを使いましょう、ぐらいですね。

リソース消費を見るのにはサーバログインしてコマンドで確認する他、CloudWatch Agentを入れるなどしてCloudWatch上で確認することもできます。
（CPU使用率はエージェントなしでも見られますがメモリ使用率はエージェントが必要です）
もちろん他の監視ソリューションを使ってもいいでしょう。

ここで「どのインスタンスがいいか」とは情報が足りないので何も言えません。

質問と関係ないですけど
プログラムの具体的な中身についてもここではわかりませんが、ループを減らす工夫ができるなら考えてみてもいいと思います。

また、実行環境としては短時間利用がメインの用途ならスポットインスタンスを使うと料金が大幅に削減できます。
さらに処理内容が決まっているのであればAWS Batchを使ってみてもいいでしょう。
ご参考までに。