jupyter notebookで225銘柄の終値をダウンロードするのに時間がかかる

Question

下記のコードをかいて、jupyter notebookで225銘柄の終値をダウンロードするのに時間がかかってます。30分くらいかかる。

何か読み込みを早くする方法はありますか？

import pandas as pd 
from pandas_datareader import data as wb

# 日経225全銘柄の証券コードを読み込み
df = pd.read_csv('nikkei225.csv', header=None)

# 証券コードリストを作成（証券コードの後ろに.Tを追加）
tickers = [str(name) + '.T' for name in list(df[0])]
sec_data = pd.DataFrame()

# 2020-8-1から2020-10-31までの時系列データをyahoo financeからダウンロード
for t in tickers:
   sec_data[t] = wb.DataReader(t, data_source='yahoo', start='2020-8-1', end='2020-10-31')['Adj Close']

# ダウンロードしたデータをcsvファイルに保存
sec_data.to_csv('data_StockPrice.csv')

Comments

[mufufu]

プログレスバーを表示するにはどうしたらいいですか？

Answer 1

高速化の手段ではないですが、
end='2020-10-31'
を
end='2020-08-01'
として、まず１日分だけ処理を走らせて、どのくらい時間がかかるか確認されてはいかがでしょうか。
そこでかかった時間x日数がおおよその実行時間の目安になるかと思います。

この目安の時間がだいたい30分前後ということであれば、 pandas_datareaderを使う限りでは基本的にそのくらいはかかってしまう、ということになります。

その上で、マシンスペックに余裕があるのであれば、for t in tickers:のループの部分を分割して並列実行し、最終結果をマージするという手段が高速化につながるかと思います。

Comments

[mufufu]

ありがとうございます。

プログレスバーを表示するにはどうしたらいいですか？

[退会済みユーザー]

プログレスバーのようなリッチな表現でなくても、シンプルに処理開始・終了の時間を表示すればよいです。
pythonの場合だと例えば以下の記事にあるようにtime()を用いると開始時刻と終了時刻がわかります。
https://qiita.com/fantm21/items/3dc7fbf4e935311488bc

この時間計測はpythonに限らない常套手段です。