(スクレイピング) メルカリで価格を スクレイピング 【Python BeautifulSoup】

Question

前提・実現したいこと

メルカリの商品ページから価格をスクレイピング(ターミナルに表示させる)

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "c:\Users\ユーザー名\OneDrive\デスクトップ\フォルダー名\ファイル名.py", line 18, in <module>
    html = urllib.request.urlopen(url=url)
  File "C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
.
.　#lineの行の異なる同様のエラーが複数続いています。
.
.
  File "C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden
ターミナルの処理が終了しました (終了コード: 1)

#コードは649行まではありません、、、、、。

該当のソースコード

import urllib.request, urllib.error
from bs4 import BeautifulSoup

url = "https://item.mercari.com/jp/m81141146584/"　#商品ページは無作為に選んでます
html = urllib.request.urlopen(url=url)

soup = BeautifulSoup(html, "html.parser")


elems = soup.select(".item-price.bold")


for elem in elems:
    print(elem.getText()) 

試したこと

他のサイトで同様のコードで、(url.クラス名)を書き換えた時はスクレイピングできました。

CSSセレクター、XPathでも指定しましたが、メルカリのページではスクレイピングできません

find_element(s)_by_class_name
find_element(s)_by_css_selector も試しました

補足情報（FW/ツールのバージョンなど）

python 3.7.3
chromeのバージョン 73.0.3683.103
windows 10

Comments

[tanat]

利用規約で禁止されています
https://www.mercari.com/jp/help_center/getting_started/prohibited_conduct/#b17

Answer 1

403なので向こうのサーバでアクセスが拒否されたのでしょう。

---

メルカリはスクレイピングを禁止しています。

メルカリでは、自動出品ツール、ならびにそれと同じとみなされるツールなどを用いての利用を禁止します。

https://www.mercari.com/jp/help_center/getting_started/prohibited_conduct/#b17

スクレイピングを行うのであれば事前に相手サイトの規約等を確認し、禁止されていれば手を出さないこと。これは最低限守るべきことです。

また、こういう場では「やるな」としか言えません。