Digital ocean 上で docker swarmを使い、selenium-gridにてdriverを最大10個作成し同時スクレイピングをしているのですが、ipを変えるためにポートを何度も作成(300回)していたら120$かかってしまい、開発段階でこれだけかかってるので、運用段階になったら月300$ぐらいいくのではと恐れています。下記のコードで s-4vcpu-8gbを使用しています。コードを走らせてる時のcpu使用率は2%とかなので、下記の画像にもある通り、いろんな digital ocean のサイズを試したのですが、selenium-gridでport://4444がひらけなかったり、reached max .... というエラーが出たりで結局、"s-4vcpu-8gb"しか使い物になりません。
この問題を解決するために、何か私が間違えているところはありますでしょうか?
また、月300$も払えないので、デスクトップに virtual boxを入れて、4つのvirtual machineを入れれば動くのではと思い、デスクトップPCについても調べています。
色々と調べた結果 intel i9 12900k + それに応じたマザーボードとメモリで考えているのですが、digital ocean 相当のパフォーマンスは期待できるのでしょうか? GPUはなしで問題ないのでしょうか?
質問の幅が広くなってしまいました。
どうぞよろしくお願いいたします。
sh
1 2for i in 1 2 3 4; do 3 docker-machine create \ 4 --driver digitalocean \ 5 --digitalocean-access-token $DIGITAL_OCEAN_ACCESS_TOKEN \ 6 --digitalocean-region "nyc1" \ 7 --digitalocean-image "debian-10-x64" \ 8 --digitalocean-size "s-4vcpu-8gb" \ 9 --engine-install-url "https://releases.rancher.com/install-docker/19.03.9.sh" \ 10 node-$i; 11done
あなたの回答
tips
プレビュー