ログイン等した画面のHTMLの解析方法

Question

seleniumを使って自動ログインやボタン押下した画面をHTML解析をしたいです。
ボタンを押下した記述が以下です。
element=find_elemant_by_xpath("//img[@src='image/login.gif").click()
ここで推移した画面のHTMLを変数aaaにいれて
parse_html=BeautifulSoup(aaa,'html.parser')
のようなイメージで解析を行おうと思っているのですが、推移した画面のHTMLの情報を変数に入れることができません。上記elementには何も入っていないようです。print(element)だとNONEと表示されます。
よろしくお願いします。

Comments

[退会済みユーザー]

＞推移した画面のHTMLを変数aaa
どのように記述されてますか？

[desukyana]

aaa=find_elemant_by_xpath("//img[@src='image/login.gif").click()と記述しました。

[退会済みユーザー]

それって推移した画面のHTMLが戻り値に返ってくるものなんでしょうか？

推移した画面のあとに
bbb=document.body.innerHTML;
とかではないのでしょうか？
違ってたらすみません

[desukyana]

推移した画面のHTMLが戻り値にはかえってこないようです。
推移した画面のHTMLを取得する方法がわかりません。
document.body.innerHTMLではエラーが出ました。記述方法が違うのかもしれません。
requestsモジュールも入れてみましたが、うまくいきません。推移した画面のHTMLを取得する記述方法を教えていただければ助かります。

[退会済みユーザー]

当てずっぽですがhtml = browser.execute_script("return document.body.innerHTML")？

[desukyana]

いろいろ調べていいただきありがとうございました。ただ、上記方法ではうまくいきませんでした。

Answer 1

seleniumでページのHTMLを取得する方法は、page_sourceです。htmlを取得した後、BeautifulSoupにhtmlをセットしてください。

参考：【Python】page_source・・・ソースコードを取得する

from bs4 import BeautifulSoup
from selenium import webdriver
 
driver = webdriver.Chrome("D:\chromedriver")
driver.get("https://www.yahoo.co.jp")

#カレントページのソースコードを取得する
html = driver.page_source
parse_html = BeautifulSoup(html, "html.parser")
# 続きの処理を以下に書きます

Comments

[desukyana]

ご指摘の内容で、うまくHTML取得できました。
ありがとうございました。