Pythonのrequests等でget()する時の取得先サーバーにかかる負荷を確認したい

#質問
例えばChromeの開発ツールのコンソールのようなイメージで、リアルタイムで自分のPythonプログラムがコンテンツ取得先サーバーにどれだけ負荷をかけているのかをモニターできる方法やツールをお教えいただけますでしょうか。

わかりにくい質問でしたら申し訳ございません。アドバイスいただければ幸いですm(_ _)m

#背景

任意のWebサイトから一部コンテンツをrequests等のgetメソッドで取得するとき、一般的にdelayを記述するなどして取得先のサーバーの負荷を極力分散/軽減するよう推奨されており、私も当然その指針に沿ったコード記述を心がけていますが実際どのくらい負荷がかかっているのか、定量的に確認する術を知りません。現状、とりあえず闇雲にdelayなどをあちこちに設定している、といった感じです。

#例
以下のような例で、実際に取得先のサーバーまで何回getしに行っているのか、可視化された状態で負荷状況を確認できると最高です。getしに行っているのはコメント#1行の実行時だけなのか、それともコメント#2～#5行のように各HTML要素をprintする都度getしに行っているのか、目に見える形で確認したいです。

Python
1from requests_html import HTMLSession
2
3r = HTMLSession().get(url)     #1
4print(r.html.xpath('//*/div[1]').text)         #2
5print(r.html.xpath('//*/div[2]').text)         #3
6print(r.html.xpath('//*/div[3]').text)         #4
7print(r.html.xpath('//*/div[4]').text)         #5

行動規範の内容に同意します

回答2件

ベストアンサー

以getしに行っているのはコメント#1行の実行時だけなのか、それともコメント#2～#5行のように各HTML要素をprintする都度getしに行っているのか、目に見える形で確認したいです。

そのコードの中ではアクセスが発生するのは、get() 関数を呼び出した#1の1回のみです。#2 ~ #5 は、get() で取得したデータから指定した要素を探す処理なので、Web ページへのアクセスは行っていません。
基本的に get() を呼び出したときのみ、Web ページへのアクセスがあると考えてよいです。

どのくらい負荷がかかっているのか、定量的に確認する術を知りません。

これは Web サイト運営者が契約しているサーバーの処理能力によるので、こちら側で確認する術はありません。
サーバーの能力があまり高くない場合、少しアクセスが殺到しただけで繋がりづらくなります。
なので、頻度が高くても get() で Web ページを取得するのは1 ~ 3秒に1回ぐらいにしておいたほうがいいでしょう。

投稿2019/12/12 14:52