Q&A
どこのサイトに対してスクレイピングを行っていますか？
pythonのseleniumでの自動操作とスクレイピングをしようとしてのですができません
エラーで『requests.exceptions.InvalidURL: Failed to parse: <Response [403]>』とでます
python
1driver.find_element_by_xpath('//*[@id="search_form"]/button').click()#検索ボタンを押す（seleniumの操作） 2 3sleep(3)#サイトのURLが変わる 4 5url = requests.get(driver.current_url) 6headers = { 7 "User-Agent": "Mozilla/.... Chrome/.... Safari/...." 8} 9soup = BeautifulSoup(requests.get(url, headers = headers).content, 'html.parser') 10print(soup.text)
これではできないのでしょうか？
何卒ご教授よろしくお願いいたします
【参考サイト】
スクレイピングを行った際に「403 Forbidden：You don't have ... 403 Forbiddenエラー; 原因と対処法
(https://non-dimension.com/solution-403forbidden/)
PythonでHTTP Error 403: Forbiddenエラーが出た時の対処方法とエラーの意味について
（https://rainbow-engine.com/python-http-err403/）
回答1件
0
ベストアンサー
403エラーなので、少なくともrequests.getでは取得できないと言うことです。
スクレイピングを禁止しているからなのか、（トップページから順次たどるのでなく）途中のURLにダイレクトにアクセスしたからか、どちらかはわかりません。
投稿2021/10/16 12:30
総合スコア86289
いつもコメントありがとうございます
このサイトには規約が書かれていないのでスクレイピングを禁止しているかどうかが分かりませんが
もし禁止してなければ普通は上記のやり方でできるのでしょうか？
普通はそういうやり方はしないでしょうね。
あ、おかしいんですねこのやり方
参考サイトの方法のとおりにやったのですが
参考サイトの質が低かったのでしょうね。
Seleniumを使ってるのに requests.get をしている時点で「おかしい」と気づかなければなりません。
分かりました!
もっとseleniumについて勉強してみます！
ありがとうございました！
あなたの回答
tips
プレビュー
