複数ページを並列処理でスクレイピングしたい

Question

実現したいこと

スクレイピングによって複数のwebページから株価を取得しているのですが、処理を高速化するための並列処理がうまくいきません。クラスをインスタンス化して個別に各webページに対して個別に処理を実行すると問題なく株価を取得できるのですが、concurrent.futuresモジュールを用いて処理を並列化すると、Noneが返ってきてしまいます。お知恵をお借りできますと幸いです。

下記のサイト様等参考にしました。
①
②

該当のソースコード

from bs4 import BeautifulSoup
from concurrent.futures import (ThreadPoolExecutor, wait, as_completed)
import requests,openpyxl,datetime,time,re,concurrent.futures

#　webページから情報を取得
class get_informations():

    def __init__(self,url,selector):
        self.url = url
        self.selector = selector
        self.value = 0

    def scrape(self):
        response = requests.get(self.url)
        soup = BeautifulSoup(response.content, 'lxml', from_encoding="utf-8")
        self.value = float(re.sub(r"[^\d.]", "", soup.select_one(self.selector).text))

        return self.value

def worker(inf):
    inf.scrape()

if __name__ == "__main__":

    kabuka_toyota = get_informations(url="https://www.nikkei.com/nkd/company/?scode=7203",
                                  selector='#CONTENTS_MAIN > div.m-stockPriceElm > dl:nth-child(1) > dd')
    kabuka_honda = get_informations(url="https://www.nikkei.com/nkd/company/?scode=7267",
                                  selector='#CONTENTS_MAIN > div.m-stockPriceElm > dl:nth-child(1) > dd')
    kabuka_suzuki = get_informations(url="https://www.nikkei.com/nkd/company/?scode=7269",
                                  selector='#CONTENTS_MAIN > div.m-stockPriceElm > dl:nth-child(1) > dd')

    inf_list = [kabuka_toyota,kabuka_honda,kabuka_suzuki]
    get_values=[]

　#並列化処理
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        for inf in inf_list:
            get_values.append(executor.submit(worker,inf))
    for x in as_completed(get_values):
        print(x.result())

#出力
#None
#None
#None

Comments

[meg_]

> スクレイピングによって複数のwebページから株価を取得しているのですが
「複数のwebページ」とは同一のサイト内の話でしょうか？ その場合、並列処理にするとサイトに負荷がかかると思うのですがそこは考慮されていますか？

[kurage]

ご指摘ありがとうございます。
今回は別々の3サイトから1個の情報を取得する目的ですので、問題ないかと思います（例では同一ウェブサイトになっていますが）。
同一サイトで同様のことを行う場合は、ウェブサイトに負担がかからないようtime.sleepをいれるなどサイト負荷を考慮したいと思います。

Answer 1

def worker(inf):
    return inf.scrape()

Comments

[kurage]

ありがとうございます。無事動作しました。