WEBスクレイピング 連続でseleniumが動かない python

Question

お世話になっております。
pythonでウェブスクレイピングをチャレンジしております。

ConnectionRefusedError: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。
Failed to establish a new connection: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。'))

といったエラーに悩まされております。

やりたい事は、
Ａのサイトからデータを取得後、
Ｂのサイトへデータを登録です。

Ａのサイトは、商用？サイトで
Ｂのサイトは、私が管理しているサイトです。
複数ある商用サイトの売上金額を一覧でみたいので、
ウェブスクレイピングを使おうと考えました。

コードは、貼ってある通りです。
Ａサイトからはデータを取得できます。
（先日のアドバイスで取得できるようになりました）

Ｂサイトへ接続する際の
driver1 = webdriver.Chrome(executable_path="C:\py-mssp\chromedriver.exe", options=options)
で、上記のエラーが発生していると考えています。

ウェブスクレイピングは沢山のサイトから値を自動的に
取得出来ると聞いているので、これくらいの事はできるのかなと。
何か、根本的な条件が抜けているのかなと考え調べましたが、
上記エラーを解決する方法が見つかりませんでした。

何かヒント等を頂けると幸いです。

どうぞよろしくお願いします。

# coding: UTF-8
from time import sleep
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys

# ヘッドレスモードの設定。
options = Options()
options.add_argument('--headless')
options.add_experimental_option('excludeSwitches', ['enable-logging'])

# Chromeを起動
driver = webdriver.Chrome(executable_path="C:\py-mssp\chromedriver.exe", options=options)
# ログインページを開く
url = 'https://aaaaa.com'
login = '****@***.***'
password = '********'
driver.get(url)

# ログオン処理
driver.find_element_by_name("userid").send_keys(login)
driver.find_element_by_name("password").send_keys(password)
driver.find_element_by_id("doLogin").send_keys(Keys.ENTER)

# ブラウザの描写が完了させるためにsleep
sleep(10)
a = driver.find_element_by_css_selector("chromeから取得したselector")
print(a.text)
driver.quit()
driver.close()
sleep(30)

# Chromeを起動
driver1 = webdriver.Chrome(executable_path="C:\py-mssp\chromedriver.exe", options=options)
# ログインページを開く
url = 'https://bbbbb.com'
tempoid = 1
driver1.get(url)
print("here")
driver1.find_element_by_name("tempoid").send_keys(tempoid)
driver1.find_element_by_name("uriage").send_keys(a.text)
driver1.find_element_by_id("btnok").send_keys(Keys.ENTER)

print("there")

driver1.quit()
driver1.close()

Comments

[meg_]

対象のサイトがスクレイピングを禁止していて何らかの対策をしている可能性はありませんか？

[tsuru0508]

meg_様　夜分にありがとうございます。
Aサイトに接続する部分をコメントアウトして、Bサイトに接続するだけの
コードにした場合、データの登録は出来ておりました。
ただ、driver1.closeかdriver1.quitのところだと思いますが、
質問の際にしたエラーは表示されておりました。

今日はこれで失礼します。おやすみなさい。

[meg_]

そもそもエラーは何処で（どの行で）発生しているのでしょうか？
確認ですが対象サイト（Aサイト）はスクレイピングしても良いサイトなんですよね？

[tsuru0508]

おはようございます。
１行ずつプリント文をいれたところ、最初の
driver.close というところで発生しています。

# ブラウザの描写が完了させるためにsleep
sleep(10)
a = driver.find_element_by_css_selector("chromeから取得したselector")
print(a.text)
driver.quit()
print("aa") <-- このプリントは表示されている
driver.close()　　<-- ここでエラーだと思います。
sleep(30)

なお、Aサイトのスクレイピングは、特に禁止はされていません。

よろしくお願いします。

Answer 1

解決したようですが、そもそも方針が良くないです。間違いでは無いが無駄。

driver.quit()
driver.close()
sleep(30)

# Chromeを起動
driver1 = webdriver.Chrome(executable_path="C:\py-mssp\chromedriver.exe", options=options)

の部分のコードを全部削って、以下のdriver1を全部driverに書き換えるのが良いと思います。

Comments

[tsuru0508]

otn様　ありがとうございます。
そうです！無駄な事してるなぁと思いながらも
エラーが消せないので、インスタンス？というんでしょうか、
driverでエラーが出るなら、driver1を作って別で動かせば
動くのじゃないかな？と思い、作成した次第です。

アドバイスの通り直せば、無事動作しました。

自分も無駄だなぁと思ってまとめました。その時私が書いたコードは、
直前にdriver.closeを行って、再度driver.get(url)を
行っており、その場合も同じようなエラーが出ていました。
なので、安易に分けていましたが、コードがスッキリしました。

そもそもcloseしなくても良かったんですね。勉強になりました。
一つ前に進みました！！！

ありがとうございました。

Answer 2

meg_様　お世話になっております。

driver.closeをコメントアウトしたら最後まで動作しました。

driver.close()：アクティブになっているタブを終了
driver.quit()：すべてのタブを閉じてブラウザを終了

というサイトを見つけました。

driver.quit()
driver.close()

この順序だと、全てのタブを閉じてブラウザを終了してから
アクティブになっているタブを終了しようとしたことが原因と
推測し、全て

driver.close()
driver.quit()

の順序に変えたら、動作しました！

この順序がダメなんでしょうね。

どうもありがとうございました！！