Seleniumで 並列で複数のページをスクレイピングする方法

Question

selenium gridを使って一つのWebページを複数のブラウザ上で同時にテストを行いました。その後 selenium gridでは複数のWebページを同時にchrome ブラウザでスクレイピングすることはできないのかと思い調べてみたのですが、docker-swarm というものが見つかりました。日本語の記事はあまり見当たらなかったのですが、これが唯一の選択肢なのでしょうか？

実現したい動作は、docker 上で djangoアプリを作成し、ユーザーからアクセスが会ったときにその都度ユーザの選択に応じたスクレイピングをし結果を返す。というものです

どなたか詳しい方アドバイスいただけると嬉しいです。

Answer 1

https://testdriven.io/blog/concurrent-web-scraping-with-selenium-grid-and-docker-swarm/
docker-swarm の設定に手こずった時にどうすればいいかを知りたくて質問したのですが、このリンクで並列でスクレイピングできたので、自己解決にします。