Seleniumで"ページのソースを表示"

Question

したいこと

googleの検索画面(http://www.google.com)を開き

[右クリック→メニュー表示→ページのソースを表示]→ページのソースを表示するページへ移動

以上の動作を行いたいと考えています。

プログラム

以下のスクリプトでは
[右クリック→メニュー表示]はできましたが
それ以降の処理ができません。
エラーなどは発生しておりません。

from selenium import webdriver
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome('/Users/apple/Downloads/chromedriver')
driver.get("http://www.google.com")

#send_keys(Keys.ARROW_DOWN)
webdriver.ActionChains(driver).context_click().send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ENTER).send_keys(Keys.RETURN).perform();

色々な方のサイトなど参考にしましたがどうしてもうまくいきません。
もしなにかわかる方がいらっしゃいましたらご教授お願いしたく思います。

開発環境はjupyter notebookです。

Answer 1

不具合の為 削除です

Answer 2

print(driver.page_source)

これで十分では無いでしょうか。

コメントを受けて追記

googleはスクレイピングを禁止しているサイトですので当然対策が打たれ挙動も制御される可能性が高く、
ただでさえ挙動が不安定なactionchainsがうまく動いていない可能性も考えられます。

最終的には右クリックすると何か特殊な選択肢が出てくるサイトで実行する予定でしょうか。
そうで無い限りは右クリックをしなくとも大抵のことはまかなえます。

driver.back() # 戻る
driver.forward() # 進む
driver.refresh() # 更新
print(driver.page_source) # ページのソースを表示
driver.execute_script('return window.print();') # 印刷

Comments

[DaikiMorikawa]

shirai様，回答誠にありがとうございます．おっしゃる通りで，十分だと思います．

おこがましいとは思いますが，もし
[[右クリック→メニュー表示→ページのソースを表示]→ページのソースを表示するページへ移動
の動作を実現する方法があればご教授いただきたく思います．
将来的にはページのソースを表示する以外のこともしたく，右クリックメニューから操作することができればと考えております．

[shirai]

追記しました

Answer 3

うまく行きそうなのにたしかにうまくいかないですね…

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("http://www.google.com")

#send_keys(Keys.ARROW_DOWN)
#webdriver.ActionChains(driver).context_click().send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ARROW_DOWN).send_keys(Keys.ENTER).send_keys(Keys.RETURN).perform();

print("get source")
print(driver.page_source)  # 表示しているページのhtmlソース取得

print("send ctrl+u")
# これはうまくいかない？
#webdriver.ActionChains(driver).send_keys(Keys.CONTROL, "u")

# 見も蓋もないけれどもうまくいく
driver.get("view-source:https://www.google.com/")

Comments

[DaikiMorikawa]

回答ありがとうございます。
そうですよね。自分もうまく行かなくて大変困っています。
ソースを開くといった目的に対しては、おっしゃる方法で解決しますが
seleniumで物理的に解決する方法が自分もわかりません。これでうまくいくはずなのですが。

Answer 4

googleChromeでは、ソースの表示はブラウザの機能として搭載されているものとなります。
機能の内用としてはURLの先頭に「view-source:」を付与し、アクセスするという挙動の機能となります。

従って、開いているページのURLを取得→URL先頭に「view-source:」をつけ成形してあげれば再現が可能です。
またpyautoguiを使用してショートカットキーを押下するでも再現が出来ます。

import pyautogui as pg
pg.hotkey('ctrl', 'u')

Comments

[DaikiMorikawa]

回答ありがとうございます。
view-sourceを使っての発想はなかったです。

ソースを開くといった目的に対しては、おっしゃる方法で解決しますが
seleniumで物理的に解決する方法が自分もわかりません。
マウスコントロールを行い、座標で考えるという方法もあるのでしょうか。もしご存知であればご教授お願いします。