Pythonで下記プログラムで画像取得処理を実施しています。

Python
1def download_file(url, dst_path=os.path.basename(url) + '.png'):
2    urllib.request.urlretrieve(url, dst_path)

このプログラム実行時のリクエストヘッダおよびレスポンスヘッダを確認したいのですが、方法がわからず、ご教授ください。

行動規範の内容に同意します

回答1件

urlretrieveだけで直接request headerの中身を見る方法はわかりませんでした。
あとurlretrieveは非推奨です。

import os
from urllib.request import HTTPHandler, urlretrieve, build_opener

from http.client import HTTPConnection

class MyHTTPConnection(HTTPConnection):
    def send(self, s):
        print("[[request_header:]]\n%s" % s.decode())
        HTTPConnection.send(self, s)

class MyHTTPHandler(HTTPHandler):
    def http_open(self, req):
        return self.do_open(MyHTTPConnection, req)


def download_file(url):
    dst_path=os.path.basename(url) + '.png'

    opener = build_opener(MyHTTPHandler)
    _ = opener.open(url)

    _, mes = urlretrieve(url, dst_path)
    print("[[response_header]]: \n%s" % mes)


download_file('http://www.example.com/')

参考：https://stackoverflow.com/questions/843392/python-get-http-headers-from-urllib2-urlopen-call

追記

HTTPSの場合は下記。

import os,pprint
from urllib.request import HTTPSHandler, build_opener, urlretrieve
from http.client import HTTPSConnection
from urllib.request import Request

class MyHTTPConnection(HTTPSConnection):
    def send(self, s):
        print("[[request_header:]]\n%s" % s.decode())
        HTTPSConnection.send(self, s)

class MyHTTPHandler(HTTPSHandler):
    def https_open(self, req):
        return self.do_open(MyHTTPConnection, req)

def download_file(url):
    dst_path=os.path.basename(url)

    opener = build_opener(MyHTTPHandler)
    _ = opener.open(url)
    
    _, mes = urlretrieve(url, dst_path)
    print("[[response_header]]: \n%s" % mes)

download_file('https://www.example.com/')

投稿2020/12/22 02:22

編集2020/12/22 03:30