適切なサーバーサービス選び 料金イメージ

Question

現在自分は　pythonのseleniumとbeautiful soup　を使って毎日、朝と深夜の一日二回スクレイピングを行い、その結果をpostgresqlに書き込んでログを取る　　というものを作っております。
スクレイピングとdb書き込み機能を持ったスクリプトは完成しており、これをVPSやAWS EC2などでサーバーを立ててcronで毎日決まった時間に実行してログを取ろうと考えているのですが、
このようなwebなど外部のアクセスがないようなものを目的としている場合どのサーバーサービスをつかうのが適切なのでしょうか（なるべく安くしたい）
また、なんとなくでもいいのでAWSを利用した時の予想される料金も教えていただけたら嬉しいです。

Comments

[m.ts10806]

>というのを目的
細かくて申し訳ないですが、書かれているのはあくまで手段です。
「なんのために」が目的です。

AWSの料金は調べれば出てくる範囲でしょうし、そもそもAWSでいいのか
スクレイピングして問題ない先なのか
というところの検討は必須では。場合により訴えられることもあります。

[akibin-0219]

日本語がおかしかったですね・・
ご指摘ありがとうございます。
AWSの利用料金に関しては自分の方でも調べてみたのですがサービスの種類が多く、AWSのサービスについての理解が浅い自分としてはあまり理解ができず、また料金実例も自分の調べた限りではwordpressなどのwebサーバの例がほとんどだったので、質問させていただきました。

Answer 1

このようなwebなど外部のアクセスがないようなものを目的としている場合どのサーバーサービスをつかうのが適切なのでしょうか（なるべく安くしたい）

外部からアクセスされる必要が無い&
仮に落ちても許容できる&
常識的な量のネットワーク使用の範囲で収まるという条件であれば、
RaspberryPiやその他の省電力なPCを用意して自宅で常時稼働＆クローリングさせるのが最も安くなるはずです。

AWS等の従量課金サービスでどの程度コストがかかるかについては、どの程度のアクセスがあるのか、負荷があるのか、ストレージがどの程度必要なのかなどなどの各種要件が分からないことには、外部の人間に判断することは難しいです。

ただ、AWSには無料枠があるので(AWS 無料利用枠)、まずは無料枠内でEC2なりLightSailなりを立てて試してみるのが良いかと思いますよ。
（maisumakunさんの回答通り、どのみち確認は必要ですし）

使ってみて、スペックが足りなければそれよりはコストがかかりますし、余裕なら（無料期間が終わった後にでも）小さなインスタンスに変更すればより安くなります。

Comments

[akibin-0219]

なるほどです。いったんAWSの無料利用枠で稼働してみてます！
ラズパイに関してはあまり考えていませんでしたが、やはり一番安く済む方法として有力なのですね・・

今後、AWSの無料枠で稼働させつつ、最終的にラズパイでサーバを作るのを目標にしていきたいと思います。

Answer 2

まずは、AWSで動作するのかの確認が必要です。

クローラによるアクセスを防ぐために、AWSの帯域からのアクセスをブロックしているサイトも存在します。

Comments

[akibin-0219]

なるほどです、AWS帯域を対象にブロックすることもあるのですね・・
ありがとうございます、確認してみます。