前提・実現したいこと
メルカリの商品ページから価格をスクレイピング(ターミナルに表示させる)
発生している問題・エラーメッセージ
Traceback (most recent call last): File "c:\Users\ユーザー名\OneDrive\デスクトップ\フォルダー名\ファイル名.py", line 18, in <module> html = urllib.request.urlopen(url=url) File "C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 222, in urlopen return opener.open(url, data, timeout) . . #lineの行の異なる同様のエラーが複数続いています。 . . File "C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 649, in http_error_default raise HTTPError(req.full_url, code, msg, hdrs, fp) urllib.error.HTTPError: HTTP Error 403: Forbidden ターミナルの処理が終了しました (終了コード: 1) #コードは649行まではありません、、、、、。
該当のソースコード
import urllib.request, urllib.error from bs4 import BeautifulSoup url = "https://item.mercari.com/jp/m81141146584/" #商品ページは無作為に選んでます html = urllib.request.urlopen(url=url) soup = BeautifulSoup(html, "html.parser") elems = soup.select(".item-price.bold") for elem in elems: print(elem.getText())
試したこと
他のサイトで同様のコードで、(url.クラス名)を書き換えた時はスクレイピングできました。
CSSセレクター、XPathでも指定しましたが、メルカリのページではスクレイピングできません
find_element(s)_by_class_name
find_element(s)_by_css_selector も試しました
補足情報(FW/ツールのバージョンなど)
python 3.7.3
chromeのバージョン 73.0.3683.103
windows 10
回答1件
あなたの回答
tips
プレビュー