urllibを使って日本語URLにアクセスしたい

Question

urllibを使って日本語URLにアクセスしたい

タイトルの通り、Python3のurllibで日本語URLにアクセスしたいのですが、うまくいきません。
パーセントエンコードしたらいけると思ったのですが、以下のようにエラーが出てうまく行きません。
なぜなのでしょうか？
pythonのバージョンは3.6.9です。

検索が下手なのかもしれませんが、ググってもMySQLの情報しか出てこず、、

ソースコードとTrackback

>>> import urllib.request
>>> import urllib.parse

>>> url = urllib.parse.quote("https://日本語.jp/about/", "<>%-_.!*'():?#/@&+,;=")
>>> print(url)

https://%E6%97%A5%E6%9C%AC%E8%AA%9E.jp/about/

>>> req = urllib.request.Request(url)
>>> res = urllib.request.urlopen(req)

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.6/urllib/request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.6/urllib/request.py", line 526, in open
    response = self._open(req, data)
  File "/usr/lib/python3.6/urllib/request.py", line 544, in _open
    '_open', req)
  File "/usr/lib/python3.6/urllib/request.py", line 504, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.6/urllib/request.py", line 1361, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "/usr/lib/python3.6/urllib/request.py", line 1318, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "/usr/lib/python3.6/http/client.py", line 1254, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/usr/lib/python3.6/http/client.py", line 1295, in _send_request
    self.putheader(hdr, value)
  File "/usr/lib/python3.6/http/client.py", line 1227, in putheader
    values[i] = one_value.encode('latin-1')
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256)

エンコードしたURLをブラウザに入れたら正常にアクセスできたので、エンコードのしかた自体はあってるとおもいます。

Answer 1

こちらなど参考になりませんか。

回避策① 手動でHostヘッダーを設定する

import urllib.request

req = urllib.request.Request('http://日本語.jp/about/')
req.add_header('Host', req.host.encode('idna'))  # これ！
res = urllib.request.urlopen(req)

回避策② 他のライブラリを使う

import requests
res = requests.get('http://日本語.jp/about/')

urllib.requestを使って日本語ドメインを含むURLを取得しようとするとエラーになる - かせきのうさぎさん

Comments

[SatoKenta]

ありがとうございます。
ご提示いただいた方法でできました。
また、自分で調べた別の方法としてIDNA形式にエンコードするという方法もありました。
ただし、urllibの仕様(?)で、httpsのサイトのドメインをIDNAにエンコードしてしまうと証明書のチェックに通らずCertificationErrorを吐いてしまうようです。
これに関しては諦め、回避策② 他のライブラリを使う方法で実装することとしました。