pythonUnicodeEncodeエラー

Question

先日も質問させて頂きましたが解決できなかったので、もう一度質問させて頂きます。

外部csvファイルに保存している検索キーワードを使ってYahooニュースを検索したいのですが、UnicodeEncodeエラーが出てしまい、色々調べましたがどう対処すればいいのかがわからなく困っています。

"AKB","最新"

url = 'https://news.yahoo.co.jp/search/?p=' 

f = open('output.csv')
dataReader = csv.reader(f)
for row in dataReader:
    tl = row[0]     
    at = row[1]
    url = url + str(tl) + str(at)

    url = urllib.request.Request(url=url)
    html = urllib.request.urlopen(url).read()

Traceback (most recent call last):
  File "test04.py", line 18, in <module>
    html = urllib.request.urlopen(url).read()
  File "/usr/lib64/python3.6/urllib/request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib64/python3.6/urllib/request.py", line 526, in open
    response = self._open(req, data)
  File "/usr/lib64/python3.6/urllib/request.py", line 544, in _open
    '_open', req)
  File "/usr/lib64/python3.6/urllib/request.py", line 504, in _call_chain
    result = func(*args)
  File "/usr/lib64/python3.6/urllib/request.py", line 1361, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "/usr/lib64/python3.6/urllib/request.py", line 1318, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "/usr/lib64/python3.6/http/client.py", line 1239, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/usr/lib64/python3.6/http/client.py", line 1250, in _send_request
    self.putrequest(method, url, **skips)
  File "/usr/lib64/python3.6/http/client.py", line 1117, in putrequest
    self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-18: ordinal not in range(128)

Answer 1

エラーにありますように、urlopenでエラーが発生しているように見えます。

Traceback (most recent call last):
  File "test04.py", line 18, in <module>
    html = urllib.request.urlopen(url).read()
  File "/usr/lib64/python3.6/urllib/request.py", line 223, in urlopen

urlopenにわたしている url に 多バイト文字(日本語)が含まれているように見えます。
url を URLエンコードをしてから urlopenに渡すとよいのではないでしょうか?

参考

https://qiita.com/mix/items/87d094414e46f857de45