質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

2回答

1383閲覧

Pythonのrequests等でget()する時の取得先サーバーにかかる負荷を確認したい

fukazume

総合スコア78

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

1グッド

0クリップ

投稿2019/12/12 10:45

編集2019/12/13 01:01

#質問
例えばChromeの開発ツールのコンソールのようなイメージで、リアルタイムで自分のPythonプログラムがコンテンツ取得先サーバーにどれだけ負荷をかけているのかをモニターできる方法やツールをお教えいただけますでしょうか。

わかりにくい質問でしたら申し訳ございません。アドバイスいただければ幸いですm(_ _)m

#背景

任意のWebサイトから一部コンテンツをrequests等のgetメソッドで取得するとき、一般的にdelayを記述するなどして取得先のサーバーの負荷を極力分散/軽減するよう推奨されており、私も当然その指針に沿ったコード記述を心がけていますが実際どのくらい負荷がかかっているのか、定量的に確認する術を知りません。現状、とりあえず闇雲にdelayなどをあちこちに設定している、といった感じです。

#例
以下のような例で、実際に取得先のサーバーまで何回getしに行っているのか、可視化された状態で負荷状況を確認できると最高です。getしに行っているのはコメント#1行の実行時だけなのか、それともコメント#2~#5行のように各HTML要素をprintする都度getしに行っているのか、目に見える形で確認したいです。

Python

1from requests_html import HTMLSession 2 3r = HTMLSession().get(url) #1 4print(r.html.xpath('//*/div[1]').text) #2 5print(r.html.xpath('//*/div[2]').text) #3 6print(r.html.xpath('//*/div[3]').text) #4 7print(r.html.xpath('//*/div[4]').text) #5
yodel👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

以getしに行っているのはコメント#1行の実行時だけなのか、それともコメント#2~#5行のように各HTML要素をprintする都度getしに行っているのか、目に見える形で確認したいです。

そのコードの中ではアクセスが発生するのは、get() 関数を呼び出した#1の1回のみです。#2 ~ #5 は、get() で取得したデータから指定した要素を探す処理なので、Web ページへのアクセスは行っていません。
基本的に get() を呼び出したときのみ、Web ページへのアクセスがあると考えてよいです。

どのくらい負荷がかかっているのか、定量的に確認する術を知りません。

これは Web サイト運営者が契約しているサーバーの処理能力によるので、こちら側で確認する術はありません。
サーバーの能力があまり高くない場合、少しアクセスが殺到しただけで繋がりづらくなります。
なので、頻度が高くても get() で Web ページを取得するのは1 ~ 3秒に1回ぐらいにしておいたほうがいいでしょう。

投稿2019/12/12 14:52

tiitoi

総合スコア21956

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

fukazume

2019/12/13 01:00

ご回答ありがとうございます!お教えいただいたように "基本的に get() を呼び出したときのみ、Web ページへのアクセスがある" と考えると自分の中でdelay/sleepを入れるべき箇所がより明確になりスッキリいたしました。for文でget()するときなど、特に気を付けたいと思います!
guest

0

可能であれば、httpdやnginxで自分自身でサーバを立てて、そこに向けてサーバ側で
リクエストログを見て観測するのが、他に迷惑掛けずに実施できます。

network帯域は自分側から送信分は見えますが、CPUやメモリ消費については相手サーバに依存しますし、
リクエスト回数はわかっても、それが相手サーバにとってどれだけの負荷かどうかは分からないですね。

投稿2019/12/16 09:56

yodel

総合スコア508

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問