特定銘柄のCSV株価データのダウンロード（約15年分）

Question

前提・実現したいこと

スクレイピングで特定銘柄のCSV株価データを2005年から直近分までダウンロードすることが実現したいことです。以下のウェブサイトを参考に全銘柄のダウンロードのコードは作成しました。
https://www.kbm360.com/?p=278

その一方で、上場企業全社を対象とすると、3,600社以上のデータとなりデータが多すぎるため、対象の銘柄を限定したいと考えています。必要な約250社のデータに限定してデータをダウンロードしたく思います。具体的には、2753、1930、4769、8023、9027、7222、9377、1941、8922、2108等になります。可能であれば、上記以外の約240社も含めてダウンロードの対象となる全銘柄をコードに記載出来ればと考えています。

発生している問題・エラーメッセージ

末尾の以下のコードの通り、1301から9998をrangeとして指定しているため、例えば1302に該当がない場合でも順繰りにファイルの有無を確認しています。また、全ての上場企業の該当ファイルをダウンロードしているため、相当な時間がかかります。（およそ100時間）
download_stock_csv(range(1301,9998),range(2005,2021))

該当のソースコード

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
import time

def download_stock_csv(code_range,year_range):
    for code in code_range:
        try:
            for year in year_range:
                url = 'https://kabuoji3.com/stock/{0}/{1}/'.format(code,year)
                driver.get(url)

                try:
                    driver.find_element_by_name("csv").click()
                    time.sleep(3)
                    driver.find_element_by_name("csv").click()
                except NoSuchElementException:
                    print("no data")
                    pass
                time.sleep(1)

        except NoSuchElementException:
            print("no data")
        pass
    time.sleep(3)

download_stock_csv(range(1301,9998),range(2005,2021))

試したこと

「Pythonクローリング&スクレイピング」「Python2年生スクレイピングの仕組み」「Automate the Boring Stuff with Python」の関連しそうな箇所を確認しましたが、解決には至りませんでした。

補足情報（FW/ツールのバージョンなど）

Selenium、chromedriverは以下でインストール済みです。
!pip install selenium
!pip install chromedriver-binary==81.0.4044.69

Comments

[退会済みユーザー]

質問は何ですか？100時間では長すぎるから高速化したいということですか？

[FinLab]

はい、高速化するための方法をご教示頂けますと助かります。

[tiitoi]

100時間って4日あれば終わりますし、高速化考えるぐらいなら4日待ったほうがてっとり早いと思いますよ

[FinLab]

tiitoiさん、アドバイスをいただきありがとうございます。4日待ちつつ、今後の勉強も兼ねて並列処理等で処理できるか検討したいと思います。

Answer 1

高速化の方法には並列処理があります。例えば、100個のプロセスで同時にダウンロードすれば、１個ダウンロードする時間で１００個ダウンロードできます。

追記：コードを見たところ、seleniumでブラウザを操作してダウンロードしてるようですが、ダウンロードURLが分かれば、そこに直接リクエストを送った方が速いでしょう。

Comments

[FinLab]

ご回答いただきありがとうございます。並列処理と直接リクエストを送る方法を検討いたします。