UnicodeEncodeErrorについて

Question

今、画像をスクレイピングでローカルのファイルにダウンロードしようと思っているのですが、以下のようなエラーが出ます。どうしたらよいでしょうか？<UnicodeEncodeError: 'ascii' codec can't encode characters in position 54-57: ordinal not in range(128)

import bs4
import urllib.request
from itertools import chain
import time
import random

for page in range(1, 3):
    html = urllib.request.urlopen('https://beauty.hotpepper.jp/CSP/bt/hairCatalogSearch/ladys/condtion/?keyword=かわいい&pn='+str(page))
    soup = bs4.BeautifulSoup(html, 'html.parser')

    columns = soup.find_all('li', class_='dibBL')
    atags = map(lambda column: column.find_all('a', class_='pr'), columns)

    with open('hotpepper_page_urls.txt', 'w') as f:
        for _ in chain.from_iterable(atags):
            path = _.get('href')
            if not path.startswith('https'):  # Relative path
                path = '{}{}'.format(base_url, path)
            f.write('{}\n'.format(path))

    time.sleep(1 + random.randint(0, 2)) # 負荷を抑えるために数秒間止める

Answer 1

日本語部分をURLエンコードする必要があります。

# 略
import urllib

for page in range(1, 3):
    url = 'https://beauty.hotpepper.jp/CSP/bt/hairCatalogSearch/ladys/condtion/?keyword='
    url+= urllib.parse.quote_plus('かわいい', encoding='utf-8')
    url+= '&pn='+str(page)
    html = urllib.request.urlopen(url)
    # 略

Comments

[kan_nen]

ありがとうございます。おかげさまで解決しました。