動的サイトのスクレイピングをしたいです

Question

リアルタイムに更新されるサイト。(例えば株価情報)をスクレイピングし、csvに出力したいと考えています。
例えば以下サイトの表データ
リンク内容

スクレイピング自体は問題なく可能であると考えているのですが、情報取得時にプログラムを実行させる必要があるのでリアルタイムの情報ではありません。

これをリアルタイム化することは可能なのでしょうか。

Answer 1

回答

そういった用途だと取引所がAPIを用意していることが殆どなので
株価情報 APIとかBitcoin APIとかで調べてみて、APIから情報を取得するようにしましょう。

スクレイピングは後述の理由により適した方法とは言えません。

捕捉

もし、リアルタイム化=毎分更新くらいの頻度で良いのであれば、cronなりタスクスケジューラーなりのOSが用意する定期実行の仕組みを使って情報を自動で取得すればいいでしょう。
＊サイト側がスクレイピングを許可している場合に限ります

極端な話、秒間100回スクレイピングすれば0.01秒ごとに更新が出来ますが、webサイト側が0.01秒ごとに情報を更新している保証は無いですし、何より迷惑です。
また、サイト側で悪質なアクセスと判断されて対策をされる可能性も大きいです。
（CDNやWAFでBOT対策をしているケースも多くあります）