python BeautifulSoup ではひらけないurlの要素取り出しについて

Question

BeautifulSoupを使ってこのURLから要素を取得したいのですが、pythonコードから取得しようとすると要素部分がエラーひょうじになってしまい。うまく取得できないのですが、回避方法はありますでしょうか？
またブラウザからurlコピーで貼り付けて検索すると普通に表示されます。

どうぞ宜しくお願い致します

#!/usr/bin/python3
import urllib.request

url = "https://mnrate.com/item/aid/B01HUJEPZO"

request = urllib.request.Request(url=url)
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')
print(html)

Comments

[tiitoi]

> 要素部分がエラーひょうじになってしまい
具体的にどの要素でしょうか

Answer 1

スクレイピング対策されているようです

MONORATE（モノレート）のデータをスクレイピングすれば自動で転売商品見つかるのか試してみた結果
https://www.virtual-surfer.com/entry/2018/12/07/190000

ブラウザで開いてからhtmlを保存してそのファイルをスクレイピングすればできます。

クラウドソーシングでたくさん出品されているようなのでhtmlファイルに保存の自動化はご自分でお考え下さい。