python3 seleniumとurllibの連携

Question

###前提・実現したいこと
python3でseleniumを使用し、ログインを行った後、
そこまでの情報を持ってrequest、requests等で処理を続けたい

###試したこと
seleniumでログインを行い、driver.current_urlでurlを取得
urlopen(url)で該当ページに接続

###結果
urllib側でbeautiful soupで取得した結果内容がログイン画面だった。

Answer 1

よくわからない点があるのですが、
seleniumでスクレイピングしているならばurllibは不要ではないでしょうか？

ログイン後にurllibを使わなければならない理由があるとか…？(例えばPhantomJSだとうまくログインできず、仕方がなくログインはChromeでやったけど、ログイン後はChromeを消したい、とか？)

セッションとかよくわからないですけど、ブラウザA(Chromeとか)でログイン後のurlをブラウザB(Firefoxとか)に打ち込んでもログインされてはいませんよね…？

ですから、そのままログイン後もseleniumを使う必要があると思います。

ちなみにログイン後画面はログイン後にdriver.page_sourceにhtml文字列が入っていますから、beautiful soup側では、

soup = BeautifulSoup(driver.page_source)

という風にすればログイン後画面を取得できるでしょう。

(長文、乱文失礼しました。m(_ _)m)

##追記

Chromeのクリック操作だと何か問題なのでしょうか？
ログインで既にChromeを使っているのですから、大した問題じゃないような気がします。

【Python】Seleniumを使ってファイルをダウンロードする方法

クリック操作があっても構わない場合はもうご覧になられているかもしれませんが、
上記リンクの内容がわかりやすいかなと思いました。

最初からurllibやrequestsのみを使ってログインする方法と、
途中からurllib.request.urlretrieveを使う方法はちょっと私にはわからないです。
お役に立てずすみません、、m(_ _)m

Comments

[poko_poko]

返事ありがとうございます。
ログインが必要で、かつrequestsでは難しいところがあったのでselenium(chorme driver)でログイン
ファイルをダウンロードする時に、そのままファイル先をclick()で行うとchormeの動作になってしまう。
なので、その時点でのurlを取得し、urllib.request.urlopenやurllib.request.urlretrieveでダウンロードファイルを指定＆ダウンロード先を指定しながら（ログインＩＤ毎に格納フォルダを変える）ダウンロードできれば……と思いました。

[namnium1125]

リンク貼りたかったので回答の方に追記しました。よろしくお願いします。

[poko_poko]

拝見しました。
ユーザ定義フォルダの指定ができるんですね。
ありがとうございました。