質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.47%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Webサーバー

Webサーバーとは、HTTPリクエストに応じて、クライアントに情報を提供するシステムです。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

2回答

2024閲覧

動的サイトのスクレイピングによるサーバー負荷について

SWelltop

総合スコア1

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Webサーバー

Webサーバーとは、HTTPリクエストに応じて、クライアントに情報を提供するシステムです。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2021/07/11 08:00

編集2021/07/11 08:31

為替レートのような高頻度で情報が自動更新される動的サイトからスクレイピングを行いたいです。(APIを提供していないサイト)
該当のページにアクセスした後は特定の動的要素のパラメータを確認し継続取得するプログラムです。

ここで疑問に思ったのはこのようなスクレイピングの場合、高速で情報を取得してもブラウザが取得したソースコードの読み取り頻度が変わるだけでサーバーに対して頻回にリクエストを送信しておらずサーバー負荷は変わらないのでしょうか?(自分のPCへの負荷が上がるだけ?)
(ストリーム動画でスクリーンショットをどれだけ高速で行っても配信サイトのサーバーには関係ないイメージ)

ご回答よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

極端な話0.1秒ごとに情報を取得しようと1時間毎に情報を取得しようとプログラムによる自分のPCへの負荷は変わるだけで相手のサーバー負荷は変わらないのではないか?と考えました。

F5連打(もはや攻撃)をやってるようなもんです。
アクセスしてるということはその分だけサーバ上で処理が行われますから、
アクセスが多ければ多いほど負荷が高まるし、必要以上にアクセスしているということになります。
API提供してなくて運営者の許可得られてないならやめておいたほうが身のためと思います。

投稿2021/07/11 08:31

編集2021/07/11 08:32
m.ts10806

総合スコア80852

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

SWelltop

2021/07/11 08:47

早速のご回答ありがとうございます。 目的としてはトレードの補助で相場に急変動があった際にアラートを鳴らす仕組みを作りたいと思いました。 PCで作業できるときしか使わないのでプログラムを使おうと使わなかろうとサイトにはアクセスしているのですが、その最中にプログラムでソースコードの要素を読み取りを行うとサーバー負荷が高まってしまうという解釈であっていますか?
m.ts10806

2021/07/11 08:52

こういうのは自身の都合で考えないことですよ。 サーバ負荷が高まらないからいいとか、高まるからダメとか そういう話ではないです。 運営者が想定していないアクセスは全て不正と思っても良いです(自分がされたときのことを考えてみると良いです)
SWelltop

2021/07/11 08:58

回答ありがとうございます。 確かにスクレイピングを行う上でのモラルといいますか、サイト運営者目線の考えが欠如していました。 プログラム作成に関しては見送ろうと思います、ご指摘ありがとうございました。
SWelltop

2021/07/11 09:29

ちなみに今回の件は倫理上から見送らせていただきますが、システム上としてこのようなスクレイピングはサーバーへの負荷は上がるのでしょうか? もしご存じでしたら後学のために教えていただけると幸いです。
m.ts10806

2021/07/11 09:30

本質とズレてるので応えかねます。
SWelltop

2021/07/11 09:37

承知しました。 質問内容に対する本質としては正しいかと認識しますが、回答に対する本質とズレてしまうということで解釈しました。 色々とご親切にご回答いただきありがとうございました。
guest

0

手動でブラウザでサイトを表示させて、全く何も操作しないのに、サイトに元々組み込まれたJavaScriptによってAjaxで表示が随時更新されるサイトなのであれば、

手動でブラウザに表示させっぱなしにしようが、表示させっぱなしの間にプログラムでブラウザ内のデータを何度参照しようが、サーバー負荷は同じです。

それと、そのサイトがスクレイピングを許可しているかどうかはもちろん別の話です。

投稿2021/07/11 09:56

otn

総合スコア84645

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

SWelltop

2021/07/11 10:22

他の方の回答・コメントも確認した上でご回答くださりありがとうございます。 サーバー負荷の面では変わりないのですね。動的ページは設計の自由度が高く、この場合のサーバー負荷について調べきれなかったもので勉強になりました。 今後スクレイピングを容認している類似設計のサイトの参考にさせていただきます。 私の中ではotnさんの回答がベストアンサーなのですがすでにつけてしまったため心のベストアンサーとさせてください。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.47%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問