Python seleniumによるWEBスクレイピングのError原因について

Question

前提・実現したいこと

Python学習中の初心者です。
PythonとseleniumでWEBサイトのスクレイピングを行いたいのですが、練習サイトなどでは処理できますが、実際のサイトでうまくできません。
対象となるサイトでは、オーバーレイ広告やjavascriptによる右クリック禁止などが行われており、そのあたりを疑っております。対処方法を教えてください。

（javascriptを無効にすることで解決できるのではないかと考えていますが、chrome driverでの無効化もできず困っております。）
（トラブルの原因がつかめておらず、そのあたりを教えていただけるだけでも助かります。）

発生している問題・エラーメッセージ

エラーメッセージ
[8400:8240:0823/170344.330:ERROR:ssl_client_socket_impl.cc(959)] handshake failed; returned -1, SSL error code 1, net_error -113
[8400:8240:0823/170344.474:ERROR:ssl_client_socket_impl.cc(959)] handshake failed; returned -1, SSL error code 1, net_error -113
[3456:10528:0823/170348.345:ERROR:ppapi_thread.cc(309)] Failed to load Pepper module from internal-not-yet-present (error: 126)

### 該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


url = ''; #URLは事象により省略

driver = webdriver.Chrome("c:/driver/chromedriver.exe");

driver.get(url);
driver.implicitly_wait(10) # 秒

title = driver.find_element_by_className('//*[@id="block-mspiral-core-custom-page-title"]/div/div')

print(title)
print("finish")
driver.quit()
### 試したこと
1. WEBサイトを開く時間がかかるため、10秒間のwaitを設けました。
2. オーバーレイ広告と右クリック禁止を解除するため、javascript無効化を試みましたがうまくいきませんでした。


### 補足情報（FW/ツールのバージョンなど）
使用ソフトはすべて最新版です。
Windows10 2004
python 3.8
chrome 84.0.4
selenium 3.141.59 

ご面倒をおかけいたしますが、よろしくお願いします。

Comments

[meg_]

・コードは「コードの挿入」で記入してください。
・OSは何ですか？
・> 練習サイトなどでは処理できます　”練習サイト”とは外部のサイトですか？

[AthlonXP]

・OSは何ですか？
Windows10 Pro 2004です。
・> 練習サイトなどでは処理できます　”練習サイト”とは外部のサイトですか？
定義があいまいで申し訳ありません。
練習サイトはスクレイピングの勉強のためにプログラム例が掲載されているサイトです。
そのサイトに掲載されている、例えばYahoo！のトップ記事や日経平均をスクレイピングすることはできるという意味です。

[Reach]

https://steakrecords.com/ja/677541-how-to-disable-java-script-in-chrome-driver-selenium-python-python-selenium-selenium-chromedriver.html
など どうでしょうか？

[AthlonXP]

ご回答いただきありがとうございます。
ご紹介いただいたサイトはすでに確認しておりますが、うまく実行できませんでした。
Firefoxのdriverですともう少し簡単にできるようですが、chromeで実施したいと考えております。

Answer 1

Javascript無効化例 ？

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


url = '' #URLは事象により省略

options = Options()
options.add_experimental_option( "prefs",{"profile.managed_default_content_settings.javascript": 2})
driver = webdriver.Chrome("c:/driver/chromedriver.exe",options=options)

driver.get(url)
driver.implicitly_wait(10) # 秒


title = driver.find_element_by_xpath('//*[@id="block-mspiral-core-custom-page-title"]/div/div')


print(title)
print("finish")
driver.quit()

Comments

[AthlonXP]

実装例をご回答いただきありがとうございます。
試してみたところ、javascriptを無効化することができました。
javascriptについては、こちらもプログラムミスであったようです。

一方で、以下のようなコメントが出ており、肝心のタイトルが取得できておりません。

Message: invalid selector: An invalid or illegal selector was specified

[Reach]

title = driver.find_element_by_xpath('//*[@id="block-mspiral-core-custom-page-title"]/div/div')

Answer 2

SSL系のエラーはあまり見たことないですが、
エラーメッセージでググったあたり参考になりそうなのが2つありました。

1
https://teratail.com/questions/188516
optionsを加えることで解決できるかもしれません。

2
https://github.com/react-native-community/react-native-webview/issues/1253
https://www.366service.com/cn/qa/0e883722bff0fe69c4f2f95d84d90198
海外のサイトしかなかったですが、
どうやらスクレイピング対象サイトに問題があり起こるエラーのようで、
要するにこちらで手の打ちようがないパターンみたいです。

Comments

[AthlonXP]

ご回答いただきありがとうございます。
1については、試してみたいと思います。
2については、当方も同じサイトを確認したのですが、やはりサイト側のエラーということでしょうか。
英語が不自由で翻訳サイト経由で見ており、サイト側のエラーということに自信が持てませんでした。
ご回答いただきありがとうございます。