[python] 並列処理の動作が3回に1回程度、遅くなる理由が分かりません。

Question

concurrent.futures　を使用した並列処理（非同期処理?）で3回に1回くらいの割合で動作が重たくなります。

処理の流れを簡易的に書きます

1. 会社四季報のサイトへアクセス
2. 特定の情報を抽出
3. 必要な情報のみに整形
4. データフレームに格納
5. csvファイルに書き込み

とゆう流れです。
requestsではhtmlを取得できなかったので、seleniumを使用しています。

経過時間はこんな感じです。（スレッド別に実験しているのでその他の結果は下記に記述しています。）
1, 15.708
2, 31.406
3, 11.567
4, 11.047
5, 38.353

上記の試行回数 5 回の内、2回は倍近くの時間がかかっています。下記に記載しているスレッド数を変更して実験した結果もほぼ同じ結果になっています。
なぜ、時間が遅くなるのか分かりません。
どなたか教えていただけないでしょうか？

コードの実行は下記のように行います。

# リストに銘柄コードを記述
brand_code = [2440, 2445, 2449, 2453, 2454]
parallel(brand_code)

コードはこちらです。

from bs4 import BeautifulSoup as bs
import pandas as pd
import requests
import lxml
import re

# ファイルのパスを調べる
import os
import datetime

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time

# 非同期処理
import concurrent.futures

def op():
    """seleniumでhtmlを取得する
    
    requestsで要素を取得できない場合にこちらを実行する
    """
    options = webdriver.ChromeOptions()
#     userdata_dir = 'C://chrome_profile'  # C直下

    options.add_argument("start-maximized")    # ウィンドウの最大化
    options.add_argument('--disable-extensions') # エクステンション無効
    options.add_argument("--disable-dev-shm-usage") # シェアドメモリの保持場所が/dev/shm => /tmp(安定する?)

    # ヘッドレスモードのハッピーセット..
    options.add_argument("--headless")
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-browser-side-navigation")
    options.add_argument("--disable-gpu")
    
    # プロファイルの確認
#     if os.path.isdir(userdata_dir):
#         options.add_argument('--user-data-dir=' + userdata_dir)
#     else:
#         os.makedirs(userdata_dir, exist_ok=True)
#         options.add_argument('--user-data-dir=' + userdata_dir)
    
    # 通知を無効にする
    prefs = {"profile.default_content_setting_values.notifications" : 2} # https://stackoverflow.com/questions/41400934/
    options.add_experimental_option("prefs", prefs)
    # 上部のバー「自動制御中です」を非表示にする
    options.add_experimental_option("excludeSwitches", ['enable-automation']);
    
    driver = webdriver.Chrome(ChromeDriverManager().install(), options=options)
    
    return driver
    
##################################################

def crawl(code):

    try:
        driver = op()
        url = 'https://shikiho.jp/stocks/' + str(code)
        driver.get(url)
        # 安定重視、読み込み完了を効率的する
        time.sleep(3)
        
        html = driver.page_source.encode('utf-8')
        driver.quit()
        
        try:
            soup = bs(html, "lxml")
        except:
            soup = bs(html, "html.parser")
        
        # 業績エリアの大枠を指定
        if soup.find(class_="matrix"):
            section = soup.find(class_="matrix")
        # 個別に要素を抽出
            if section.find_all(class_="default"):
                items = section.find_all(class_="default")
        
                # 企業名、上場年を抽出
                if soup.find(class_="name"):
                    comp_name = soup.find(class_="name").text
                else:
                    comp_name = code
                listed = soup.find(class_="block cfx").find('dd').text

                # 決算情報でデータがある箇所を抽出
                perf = []
                for item in items:
                    if re.search(r'^連[1-9]{2}.[1-9]{,2}\s[1-9]{,3}', item.text):
                        perf.append(item.text)

                Settlement = [] # 決算月
                sales = [] # 売上高
                opin = [] # 営業利益
                netin = [] # 純利益
                oneprofit = [] # 1株益
                onediv = [] # 1株配

                for indiv in perf:
                    sp = indiv.split(' ')
                    if sp[0]:
                        Settlement.append(sp[0])
                    else:
                        Settlement.append(0)
                    if sp[1]:
                        sales.append(sp[1])
                    else:
                        sales.append(0)
                    if sp[2]:
                        opin.append(sp[2])
                    else:
                        opin.append(0)
                    if sp[4]:
                        netin.append(sp[4])
                    else:
                        netin.append(0)
                    if sp[5]:
                        oneprofit.append(sp[5])
                    else:
                        oneprofit.append(0)
                    if sp[6]:
                        onediv.append(sp[6])
                    else:
                        onediv.append(0)

                value = {
                    '企業名'    :comp_name,
                    '銘柄コード':code,
                    '上場年'    :listed,
                    '決済年'    :Settlement,
                    '売上高'    :sales,
                    '営業利益'  :opin,
                    '純利益'    :netin,
                    '1株益'     :oneprofit,
                    '1株配'     :onediv
                }

                df = pd.DataFrame(value)
                return df
            else:
                return code
        else:
            return code
    except Exception as e:
        print(code, e)
        pass
    
def parallel(brand_code):
    """並列処理
    
    パソコンへの負荷を考えると3つの処理を6スレッドで実行するのが効率的
    """
    # 時間測定スタート
    ts = time.perf_counter()
    
    csv = pd.read_csv('data/stock_price_first.csv', encoding="shift-jis")
    max_workers = 6
    with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:
        futures = [executor.submit(crawl, code)for code in brand_code]
        
        ng_code = []
        for i, future in enumerate(concurrent.futures.as_completed(futures)):
            if type(future.result()) is pd.core.frame.DataFrame:
                csv = csv.append(future.result(), ignore_index=True)
                print(f'\r{i+1}処理中..\n', end='')
            else:
                ng_code.append(future.result())

        print('終了しました♪\n取得不可コード → '+str(ng_code))
    csv.to_csv('data/stock_price_first.csv', index=False, encoding="shift-jis")
    
    td = time.perf_counter()
    print(round((td - ts), 3))

実験結果です。

計測時間測定
5銘柄の情報を取得するテスト

1Thread
1, 42.419
2, 27.715
3, 54.995
4, 31.309
5, 50.37
mean : 41.362

2Thread
1, 16.757
2, 24.572
3, 16.718
4, 18.627
5, 35.863
mean : 22.51
    
3Thread
1, 15.708
2, 31.406
3, 11.567
4, 11.047
5, 38.353
mean : 21.62
    
4Thread
1, 10.812
2, 31.905
3, 11.247
4, 11.483
5, 38.787
mean : 20.85

5Thread
1, 5.816
2, 32.761
3, 6.193
4, 5.798
5, 36.418
mean : 17.4
    
6Thread
1, 6.184
2, 6.557
3, 36.056
4, 5.988
5, 5.751
mean : 12.11

7Thread
1, 36.037
2, 5.896
3, 5.94
4, 38.025
5, 5.796
mean : 18.34

8Thread
1, 5.802
2, 34.36
3, 6.652
4, 5.567
5, 36.327
mean : 17.74
    
9Thread
1, 5.784
2, 5.62
3, 35.45
4, 7.162
5, 5.472

10Thread
1, 5.338
2, 7.352
3, 53.905
4, 5.587
5, 5.409

Comments

[rysh]

使っているPCのCPUのコア数は幾つですか？

[hirokuro900]

コメントありがとうございます。
タスクマネージャで確認しましたところ、
コア数 : 10
論理プロセッサ数 2０
となっております。

Answer 1

リクエスト先のサーバーが付加対策のためか攻撃防止のためかわからないですが、レスポンスを遅くしているんじゃ無いかと思います。
HTML取得部分とパース部分をわけてHTMLはファイルとして保存しておくようにすると効率がよくなるかと思います。

こちらの本にそう言ったテクニックなどいろいろ乗っていました

分けた部分でそれぞれ時間を計測したり、Sleepをもっと長くしたりしても原因を特定する鍵になるかもしれません。

Comments

[hirokuro900]

コメントありがとうございます。
ご紹介していただいた本、即購入いたしました。

ご提案していただい方法などを考慮して、プロセスを細かくして思考錯誤してみます！
原因が判明次第こちらに記述いたします。

貴重なお時間を割いていただき感謝しております。
ありがとうございました。