プログラムの実行について

Question

初心者です。
見様見真似でpythonでスクレイピングのプログラムを書きましたが、今のところローカルのPCで実行しています。

繰り返し処理など多用していて処理が重いんですが、より高性能のマシン上で実行したい場合はどこで実行すればいいのでしょうか？

Answer 1

高性能なマシンで実行すれば速くなるというものでもなく・・・

• シングルスレッドの処理速度は、同時代のマシンであれば普通のPCとワークステーション、サーバ等でそれほど差はありません（ヘタしたらクロックが低いサーバ機の方が遅い可能性すらある）。「繰り返しを多用していて重い」コードを高性能なマシンに持っていっても、やっぱり重いです
• そもそもスクレイピングだと、普通に作ったら回線速度の制約、相手サーバの応答待ち、相手サーバに負荷をかけないための待ちが処理時間の大半を占めているはずなので、マシン性能を上げても得られる恩恵は少ないはずです
• 「重い」の程度が回すのに数時間かかるとかその程度なら、寝ている間にやれば良い

闇雲にマシン性能に頼ってもなんとかならないことが多いので、工夫か諦めが必要。

Comments

[that]

ご回答ありがとうございます。プログラムを実行するマシンのスペックが良ければ良いというわけではないのですね。

Answer 2

AWSのEC2が良いと思います。c5d.18xlargeであれば72vCPU＋144GiBメモリという恐ろしいスペックのマシンも、クレジットカードで1時間あたり$3.456（バージニアリージョン価格：価格表）で利用できます。

Comments

[that]

ご回答ありがとうございます。AWSのEC2というサービスがあるんですね。見てみます。