0
1
テーマ
requestsライブラリの取得時間について
背景
※プログラミング初学者なので見当違いのことを議論していたら、申し訳ありません。
requestsライブラリのget関数でサーバから情報を取得するのかかる時間について議論させてください。
当方スクレイピングをしてサイトからデータを抽出したりしています。
その際にpythonでrequests.get()関数を使用しているのですが、使用するPCや環境によって速度が著しく異なるため、疑問に思い今回の質問を作成しています。
有識者の皆様には、このget()関数の情報取得時間に影響のある要因を教えていただきたいです。
まず、私は2つの環境を構築して下記プログラムを流して確認しました。
その結果①と②で下記のように速度で7倍ほど差が出ました。
①time_elapsed: 0.433486
②time_elapsed: 0.065314
この結果は繰り返したり、何度やっても同じ傾向で再現性があることは確認しています。
このような差が生まれる要因がわからず、スペックの高い①のPC環境で情報取得速度を上げたいというのが今回の質問の結論です。博識な皆様のお力添えで私の質問の手助けをしていただきたいです。よろしくお願いいたします。他に知りたい情報などありましたら、ご連絡いただければ回答いたします。
プログラム
Python
1import requests 2import time 3import os 4 5url = "URLを記載" 6res = requests.get(url) 7time_elapsed = res.elapsed.total_seconds() 8print('time_elapsed:', time_elapsed) 9
実施環境
接続先のルーターは下記環境一緒
PC環境①
使用機器：自作PC
CPU：AMD Ryzen7 3700X
ツール：Jupyterlab Desktop Version 4.1.8-1
Jupyterlab Version 3.6.7
Python：Python 3.11.7
ネット接続方法：有線
PC環境②
使用機器：ノートPC
CPU：Intel Core i5 8thGen
ツール：Jupyterlab Version 3.1.13-1
Python：Python 3.8.12
ネット接続方法：Wifi
補足
PC環境①でも以前はPC環境②と同じレベルの速度でサーバー情報の取得ができていました。
Jupyterlabのアップデートなどをしたところ今回のような遅い結果になるようになりました。
回答6件
#1
総合スコア85766
投稿2024/05/13 13:27
記述が無いのですが、
・連続して繰り返し何度やっても同じ傾向
・ネットワーク環境は同一（接続先ルーター、Wifiか有線LANか、など）
でしょうか？
#3
総合スコア85766
投稿2024/05/13 13:53
編集2024/05/13 15:19再現性がある現象で連続で繰り返しても同じような結果が返ってきます。
詳細に聞き損ねましたが、6-8行目を9行目以降に繰り返しコピペして繰り返しても（または6-8行をループで10回くらい繰り返し実行しても）、ほぼ同じ時間が表示されると言うことですよね。
ダウンロード速度測定サイトで出る速度は両方ともそれなりでしょうか？（有線LANが低い速度でリンクしてしまってないかの確認）
別のサイトでも同傾向でしょうか？
ping ホスト名したとき、IPv4 IPv6どちらのアドレスでpingしていますか？（片方がIPv4で他方がIPv6であるとかの確認）
#4
総合スコア38339
投稿2024/05/14 00:37
Python Requests module performance after 3.11.4にてPythonバージョン違いによる速度低下が報告されています。
明確な原因までは分かりませんが、上記でも指摘されているOpenSSL 3.0 performance issue: SSLContext.set_default_verify_paths / load_verify_locations about 5x slower #95031が関連しているかもしれません。
もし実運用コードで同じ接続先から複数回getするような状況であればsessionを利用すると速度改善するかもしれません。
#5
総合スコア85766
投稿2024/05/14 00:41
なんと！Python自体の問題だったのですね。
#6
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。