【Python】seleniumを並列処理したいが、エラーが出ます...

Question

前提・実現したいこと

Python初心者です。seleniumをつかって東京メトロのホームページから運行情報を取得しているのですが、時間がかかってしまうため、multiprocessingを使って並列処理をしたいと思いました。いろいろなサイトを参考にして、コードを書いてみたのですが、エラーが出てしまいます。自分なりに状況やエラー文から検索したのですが、さっぱり解決策がわかりませんでした。。。どなたか教えていただけると幸いです。

コード

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from multiprocessing import Pool
import chromedriver_binary

def fetchclass(url):
    driver.get(url)
    time.sleep(3)
    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')
    text = soup.find(class_='v2_unkouReportInfo').text
    return print(text.strip())

# ブラウザーを起動
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

urls=['https://www.tokyometro.jp/unkou/history/ginza.html','https://www.tokyometro.jp/unkou/history/marunouchi.html',
      'https://www.tokyometro.jp/unkou/history/hibiya.html','https://www.tokyometro.jp/unkou/history/touzai.html',
      'https://www.tokyometro.jp/unkou/history/chiyoda.html','https://www.tokyometro.jp/unkou/history/yurakucho.html',
      'https://www.tokyometro.jp/unkou/history/hanzoumon.html','https://www.tokyometro.jp/unkou/history/nanboku.html',
      'https://www.tokyometro.jp/unkou/history/fukutoshin.html']

if __name__ == "__main__":
    p=Pool(4)
    result = p.map(fetchclass,urls)
    print(result)

# ブラウザーを終了
driver.quit()
```

### エラー文抜粋
```ここに言語を入力
multiprocessing.pool.RemoteTraceback: 

ConnectionRefusedError: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。

During handling of the above exception, another exception occurred:

urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPConnection object at 0x00000206A123B688>: Failed to establish a new connection: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。

The above exception was the direct cause of the following exception:
```

Answer 1

こちらでステータス取得すれば１回ですみます

下の方に日本語があります。

https://www.tokyometro.jp/library/common/operation/status.json

import requests
import json

url = "https://www.tokyometro.jp/library/common/operation/status.json"

r = requests.get(url)

r.raise_for_status()

# jsonpからjsonに変換
data_json = r.text.split("(", 1)[1].strip(")")

result = json.loads(data_json)

for line in result["jp"]["lines"]:
    print(f"{line['line_name']}:{line['contents']}")

Comments

[tsukas]

自分がやりたいことに対して１００％完璧な回答でした...ありがとうございます！
このURLはどのようにして見つけることができるのでしょうか...？

[barobaro]

前にこちらに説明しているので
https://teratail.com/questions/164050
responseで内容確認したらいいです。

Answer 2

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time,sys
from multiprocessing import Pool

#import chromedriver_binary

def fetchclass(url):
    options = Options()
    options.add_argument('--headless')
    driver = webdriver.Chrome(options=options)
    driver.get(url)
    time.sleep(5)
    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')
    text = soup.find(class_='v2_unkouReportInfo').text
    #sys.stdout.buffer.write(text.encode('utf-8'))
    driver.quit()
    return (text.strip())
    


urls=['https://www.tokyometro.jp/unkou/history/ginza.html','https://www.tokyometro.jp/unkou/history/marunouchi.html',
      'https://www.tokyometro.jp/unkou/history/hibiya.html','https://www.tokyometro.jp/unkou/history/touzai.html',
      'https://www.tokyometro.jp/unkou/history/chiyoda.html','https://www.tokyometro.jp/unkou/history/yurakucho.html',
      'https://www.tokyometro.jp/unkou/history/hanzoumon.html','https://www.tokyometro.jp/unkou/history/nanboku.html',
      'https://www.tokyometro.jp/unkou/history/fukutoshin.html']

if __name__ == "__main__":
    
    with Pool(9) as p:
        result = (p.map(fetchclass, urls))
        for l in result:
            sys.stdout.buffer.write(l.encode('utf-8'))
            #print(l)
    

Comments

[tsukas]

回答ありがとうございます。このコードで問題なく実行できました。
fetchclassの中にブラウザの起動、終了も入れておかないといけなかったということですよね。

Answer 3

ConnectionRefusedError: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。

接続できないので、こちら側ではどうしようもないのでは？