スクレイピングで取得した価格等を自動反映させるWebサイトの作成手順と必要技術について

Question

質問内容

ある商品の価格や商品名をスクレイピングで定期的に自動取得し、
自動的に反映するWebサイトを作成しています。

しかし、全体の作成手順がわかりません。
一度ローカル環境でhtml, css, Javascript, python, MySQL部分を作成、動作確認後に
html, css, JavascriptをWebサーバーにpython,　MySQLをDBサーバーにアップロードするという
作業手順で進めるのが一般的でしょうか。

また、実装するために他に必要な技術等あれば教えて下さい。

宜しくお願い致します。

使用する技術

下記の技術を使用する予定です。

• フロントエンドはReact.js
• スクレイピングはPython, Beautifully Soup, Selenium
• サーバーはAWS EC2
• WebサーバーソフトウェアはApache
• データベースはMySQL
• エディタはJupyter notebook

(VScodeも使用できます。)

試したこと

以下の部分は作成済みです。

• スクレイピングで必要な項目を取得
• EC2上にWebサーバーとDBサーバーを作成

Answer 1

html, css, JavascriptをWebサーバーにpython,　MySQLをDBサーバーにアップロードするという
作業手順で進めるのが一般的でしょうか。

そうですね。
小さなサービスであればwebサーバとDBサーバを一つのEC2に立てることもよくあるかとは思います。
多少予算があるならRDSを使いましょう。

また、実装するために他に必要な技術等あれば教えて下さい。

まずはスクレイピングに関する法律上の問題についてしっかりと調査されることをお勧めします。
自分で使うだけなら問題無かったりグレーで済むケースでも、サービスとして使う場合は真っ黒になる事もよくあります。

その他はwebアプリケーション構築/運営及びAWS構築運用に関する技術全般が必要になってくるので、ここでは回答しきれません（し、teratailのサービス方針とは異なるものだと思います）

Comments

[Pow]

早速のご回答ありがとうございます。
改めて法律上の問題や規約を確認し、RDSを検討した上で進めようと思います。

[tanat]

(選択肢を増やしてしまって申し訳ありませんが)
簡単に作るのであれば、Lightsailに全部入れてしまうというのもありだと思います。（EC2に比べると、VPCやAWS内でのネットワーク設定等が簡単になります。）
EC2で無ければ実現出来ない事が分かってからEC2で作り直すというのもありです。

[Pow]

いえいえ、学習のためAWSの様々な機能に触れたいので助かります。
Lightsailを調べてみましたが便利そうですね。試してみます。

Answer 2

ScrapeStormと言うWebスクレイピングツールを推薦します。
プログラミングなし、データ取得できます。また、抽出されたデータをMySQL、DBなどにエクスポードできます。

Comments

[Pow]

ご回答ありがとうございます。
検討してみます。