Python 3.6.9 Selenium 3.141.0 ChromeDriver 77.0.3865.40
前提・実現したいこと
pythonとseleniumでログイン後にそのログイン状態のままbeautiful soupを使って
スクレイピングしたい。
(seleniumで書き直すことも可能なのですがbeautiful soupで書いた膨大な量のコードがあるため)
まず以下のようにログインしました
url = "スクレイピングするサイトurl" driver.get(url) id_input = driver.find_element_by_css_selector("id入力場所") password_input = driver.find_element_by_css_selector("パスワード入力場所") id.send_keys("自分のid") password.send_keys("パスワード")
試したこと
ログインした状態のままbeautiful soupのオブジェクトを作成しスクレイピングしたいと考えています。
soup = BeautifulSoup(requests.get(url).content,'html.parser')
requestのところでcookiesをオプションで指定できるため
requests.get(url, cookies=cookies)
driver.get_cookies()で取得してオプションに指定すればいいと考えましたが
エラーになりました。
初心者のためcookieやsessionについてまだ勉強不足です。
ほかにsessionやpickleを使う方法など色々な情報がありどれを使えばよいか分からなかったため
ご教授いただければ幸いです。
あなたの回答
tips
プレビュー