GCPにseleniumとheadlessChromeを使った、スクレイピング用のpythonスクリプトをデプロイしたいと思っています。
全体のプログラムイメージとしては、
GASからcloudfunctionsに設置したpythonのスクレイピングファイルを実行し、結果をスプレッドシートにまとめるプログラムを作成中です。
スクレイピングしたいサイトがJavaScript対応が必須のため、seleniumを使う必要があるのですが、調べた限り色々とややこしそうです。
「puppeteer」というフレームワークが最近使えるようになったことは知っているのですが、私はJSは超初心者でどう書けば良いかよくわかりません(GASについてはググって出てきたプログラムを参考にす流つもりです。)
色々調べたところ、以下のやり方ならできるのかなと思うのですが、もっとシンプルな方法があればそれを知りたいと考えています。
できそうな方法:
GKEにheadlessChromeを格納したコンテナを立ち上げ、cloudfunctionsから接続する
ご意見頂けますと幸いです。
ちなみにGCPを使う理由は、スプレッドシートとの連携のしやすさと無料枠で収まりそうだからと言うだけで、同条件であれば他のPaasやIaasを使っても良いと考えています。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。