ログイン必要なサイトでのログイン後のページを解析したい

前提・実現したいこと

プログラム初心者です。
やりたいことがあったので調べたところpythonのseleniumというものを用いることによって実現可能性が高いと見たため、試行錯誤しています。
やりたい事と言いますのはログインが必要なサイトで、ログイン後のデータ抽出です。

seleniumを用いて
①chromedriverを用いて指定したURLをchoromeで表示
②ユーザー名とパスワードを対応したテキストボックスに記入
③ログインボタンをクリック
上の工程を経たあとにbeautifulsoupを用いてログイン後のページの数値等を解析したいのですが
④requestsを用いて該当ページを読み込む
⑤beautifulsoupで解析する
ここまで書いてみました

発生している問題・エラーメッセージ

③の工程までは何も問題ないのですが
⑤の時点でログイン状態が解除されていて、いわゆるログインページに再度飛ばされてしまいます。

おそらくrequest.getで指定したURLを再度読み込みの時点で新規にURLを読み込みしてる状態でログイン状態が解除されてるのかなと思います

質問といたしましては
③でログインした状態のまま、ログイン後のページに移行
そこからそのページのソースを例えばprint等で吐き出したいときはどうすればよろしいでしょうか？

初心者で的を得てない質問かと思いますが宜しくおねがいします。

エラーメッセージ

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

python 3.8.3
selenium 4.0.0
beautifulsoup4 4.10.0
requests 2.26.0

ここにより詳細な情報を記載してください。

行動規範の内容に同意します

回答2件

世の中には、ChromeやInternetExplorerなどのブラウザがあってWebページにアクセスしています。
Chromeを使ってあるサイトにログインしたあとで、IEを使ってアクセスしようとしたら、もう一度ログインを求められるのは当たり前ですね。

Pythonでrequestを使うのは、もう一つ別のブラウザのようなものだと考えてください。

そういうアクセスを弾くサイトや、スクリプトを使っているサイトにアクセスするためにChromeなどのブラウザを起動して遠隔操作するのがseleniumです。

Webサイト側から見ると、Python+selenium+Chromeはその配下で動くChromeからのアクセスに見えています。
そのあとでPython+requestsからのアクセスは別のものに見えるので、もう一度ログインを求められるのです。

Python+selenium+Chromeでログインしたら、最後までPython+selenium+Chromeでデータ取得しましょう。

投稿2021/10/22 05:57

ppaul

総合スコア24670

pajjon

2021/10/22 07:50

ありがとうございます！ driver.get("URL")でURLの先に飛んだあとそのままソースを htmlsource = driver.page_source という形でそのまま習得することができました！２つとも単独で動くという認識でします。本当にありがとうございました！

行動規範の内容に同意します

具体的なコードがないのでなんとも言えませんが、Seleniumを使っているのであればrequestsやBeautiful Soupを使う必要は無いように思います。

①chromedriverを用いて指定したURLをchoromeで表示
②ユーザー名とパスワードを対応したテキストボックスに記入
③ログインボタンをクリック

ここまで来てログイン後のページがSeleniumに読み込まれるのを待った後、そのままほしい要素などを解析すればよいかと。
Beautiful Soupでどうしても解析したいのであればSeleniumに読み込まれているログイン後のページを文字列として取得するなどしてBeautiful Soupに渡してあげることもできます。

参考：

投稿2021/10/22 05:29