Seleniumで既に開いているウィンドウを取得したい

Question

お世話になります。

Seleniumでブラウザの自動操作プログラムを作成しています。
ブラウザ操作中、一部だけをプログラムで自動処理したいです。

たとえば、航空会社サイトでチケットの選択までは
自分でブラウザを操作したいが、その後の決済手続きはプログラムで自動化したい、等の運用を想定しています。

この様なとき、プログラムに操作中のウィンドウを制御させる良い方法はないでしょうか？

プログラム上で起動したブラウザしかプログラムで処理できないのではと懸念してます...

もし上記懸念が正のときは、代替案として
下記のような挙動ができても嬉しいです。

1.プログラムを実行してブラウザを起動する
2.何かしらの方法で実行中にユーザが操作できるようにする
3.何かしらの入力によってプログラムの続きの処理が実行される

説明不足の部分ありましたらご指摘ください。
よろしくお願いします！

Answer 1

別の方法としては、pyautoguiを使ったりします。　

参考リンク：PyAutoGuiで繰り返し作業をPythonにやらせよう

無理やり感はありますが、マウスやキーボードそのものを操作するので、直感的で好きです。
画像認識機能もあるので、ボタンの位置とかも特定できます。

import pyautogui as pa

Comments

[kota_sailing]

回答ありがとうございます！
Pyautogui調べてみましたがこれはとても便利ですね・・・。
Xpathを利用するとhtml構造が変更になったときに意図した実行にできなくなるので、UIベースで要素を探せるのは利用場面多そうに感じました！

Answer 2

switch_to_windowを試してみてはどうでしょうか。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pprint

driver = webdriver.Chrome('pathtodriver')
driver.get( 'https://www.yahoo.com' )
time.sleep(1)
driver.find_element_by_name('p').send_keys('Selenium Python3')
driver.find_element_by_name('p').send_keys(Keys.ENTER)
time.sleep(1)

driver.find_element_by_css_selector('#web > ol > li:nth-child(1) > div > div > h3 > a').click(    )
pprint.pprint( driver.title )
driver.switch_to.window( driver.window_handles[1] ) # go next window
pprint.pprint( driver.title )
driver.switch_to.window( driver.window_handles[0] ) # go back window
pprint.pprint( driver.title )

Comments

[kota_sailing]

ご回答ありがとうございます。
追加で質問させてください。
switch_to_windowで調べてテストしてみました。
http://www.seleniumqref.com/api/python/window_get/Python_window_handles.html
すると、
・プログラム実行時に立ち上げたウインドウは driver.window_handlesで識別しますが、
・既に立ち上げていた他のブラウザは識別してくれないようです

switch_to_windowをどのように活用すれば当初の質問内容が実現できるか、
理解が悪く恐縮ですがご教示いただきたいです。
よろしくお願いします。

[退会済みユーザー]

眠いため、試験を行わず回答します。ご了承ください。
また、seleniumが起動させていないwindowをコントロールするということは経験がなく回答できません。

全てseleniumの支配下で作業することが前提で案を出します。
任意のwindowで指定の状態になったところでwhileで無限ループを実行し、条件を満たすまでループから抜けれない状態を発生させるというのはどうですか。

[kota_sailing]

アイディアありがとうございます！
下記のようにexitの標準入力をきっかけに次のコードを読む、という処理を追加したことで
その間は手動で操作が行えるようになりました！
```python
while input() != "exit":
print("loop")
```