pythonとseleniumにて、ユーザプロファイルを引き継いだままWEBサイトへのアクセスを行う

Question

■行いたいこと
１．pythonとseleniumにて、自動でのWEBサイト(Chrome)へアクセスを行う。
２．その際、ユーザプロファイルを引き継いだまま、WEBサイトへのアクセスを行う。
つまり、手動で利用しているChromeの画面の状態で、まずCromeを立ち上げる。
３．その後、特定のWEBサイトへのアクセスを行う。
(https://www.yahoo.co.jp/)

■行った環境
・physonインストール済
・Win10
・Chrome利用

■できたこと
１，２まではできた。
３ができなかった。

■コード詳細

# seleniumを使う準備
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 
options = Options()
PROFILE_PATH = r'C:\Users\motoc\AppData\Local\Google\Chrome\User Data'
options.add_argument('--user-data-dir=' + PROFILE_PATH)
driver = webdriver.Chrome(options=options)
driver.get("https://www.yahoo.co.jp/")

■参考情報
最終的には、ログイン（ID、パスワードの自動入力）を行いたいが、
本質問では、混乱をさける為、ログインの部分は、割愛している。

Comments

[otn]

問題なさそうに見えますが、どういう結果になるのでしょうか？

[kimukimu009]

ありがとうございます。

クロームが立ち上がります。

その後、ウェブサイトにアクセスするはずなのですが、何の動作も起こりません。

[otn]

本当に、質問文のコードと全く同じコードを実行していますか？

[kimukimu009]

はい。

phythonファイルを、コピーandペースト
で、貼り付けています。

[otn]

立ち上がったChromeで、手動でYahooが表示できますか？
また、Pythonは終了していますか？

こちらでは、Windows10で、パスのユーザー名だけ変えて、他はそのままコピペで、自動でYahooの画面になります。

[kimukimu009]

ありがとうございます！できました！
python終了していたか？については未確認です。

一旦パソコンを終了し、ご回答いただいた後、再度パソコンを立ち上げ、実行したところ、うまくYahoo!が立ち上がりました。

年末の大変お忙しい中、本当にありがとうございました。

[otn]

> python終了していたか？については未確認です。

？ということは、エラーが出ていたかどうかも未確認ということですか？

[kimukimu009]

エラー表示やエラーメッセージは、
プロンプト画面内で、
error○○○が、あったような気がしていますが、あまり気にしていませんでした。
少なくとも、プロンプト画面は、待ち状態でした。

phython終了とは、

プロンプト画面のなかに、

エラーメッセージがあった

[otn]

ということは、driver.get に行きつく前に何らかの原因でプログラムがエラーで終了していたということでしょう。

[kimukimu009]

ありがとうございます。
今朝、やはり、同じエラーがでたので、情報共有させていただきます。

■喫茶店でのネット接続の後、実行：失敗：
（昨日うまくいった為、自動でのWEBアクセス先は、変更した上）

C:\Users\motoc>python google-search3.py
[10824:16324:0101/123435.487:ERROR:cache_util_win.cc(21)] Unable to move the cache: アクセスが拒否されました。 (0x5)
[10824:16324:0101/123435.488:ERROR:cache_util.cc(141)] Unable to move cache folder C:\Users\motoc\AppData\Local\Google\Chrome\User Data\ShaderCache\GPUCache to C:\Users\motoc\AppData\Local\Google\Chrome\User Data\ShaderCache\old_GPUCache_000
[10824:16324:0101/123435.511:ERROR:disk_cache.cc(178)] Unable to create cache
[10824:16324:0101/123435.543:ERROR:shader_disk_cache.cc(605)] Shader Cache Creation failed: -2
[10824:16324:0101/123435.943:ERROR:cache_util_win.cc(21)] Unable to move the cache: アクセスが拒否されました。 (0x5)
[10824:16324:0101/123435.943:ERROR:cache_util.cc(141)] Unable to move cache folder C:\Users\motoc\AppData\Local\Google\Chrome\User Data\ShaderCache\GPUCache to C:\Users\motoc\AppData\Local\Google\Chrome\User Data\ShaderCache\old_GPUCache_000
[10824:16324:0101/123435.943:ERROR:disk_cache.cc(178)] Unable to create cache
[10824:16324:0101/123435.943:ERROR:shader_disk_cache.cc(605)] Shader Cache Creation failed: -2
既存のブラウザ セッションで開いています。
Traceback (most recent call last):
File "google-search3.py", line 8, in <module>
driver = webdriver.Chrome(options=options)
File "C:\Users\motoc\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 76, in __init__
RemoteWebDriver.__init__(
File "C:\Users\motoc\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
File "C:\Users\motoc\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "C:\Users\motoc\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "C:\Users\motoc\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: user data directory is already in use, please specify a unique value for --user-data-dir argument, or don't use --user-data-dir

■エラーがでた為、自身のiphoneのデザリング機能を使って接続：エラーがでているものの、成功

C:\Users\motoc>python google-search3.py

DevTools listening on ws://127.0.0.1:55441/devtools/browser/2b4e8f50-c1c4-4761-8998-40437212e53c
[10824:17468:0101/123657.832:ERROR:native_message_process_host.cc(344)] Error when writing to Native Messaging host: -101

C:\Users\motoc>[10824:17468:0101/123731.244:ERROR:socket_stream.cc(218)] Closing stream with result -2

■もう一度、喫茶店のネット接続環境に切り替えトライ：成功

C:\Users\motoc>
C:\Users\motoc>python google-search3.py

DevTools listening on ws://127.0.0.1:55503/devtools/browser/2d2a1fdc-549a-41a2-839f-72a796529a94

C:\Users\motoc>

Answer 1

yahooではbotからのアクセスを拒否しているらしいので（参考）それが原因かもしれません

Comments

[kimukimu009]

なるほど。そういうことが考えられるかもしれませんね。

【Pythonスクレイピング入門】BOTアクセス対策サイトをrequests+UserAgent偽装で切り抜ける

ということが、できれば、いけるかもしれません。

ありがとうございました。