yahoo finance api2 による株価データ取得処理が遅くなった。

Question

yahoo finance api2にて、下記コードでデータを取得しようとしています。

from yahoo_finance_api2 import share
from yahoo_finance_api2.exceptions import YahooFinanceError
S_year = 2
S_week = 1
for code in tqdm(range(10000)):
    company_code = str(code) + '.T'
    my_share = share.Share(company_code)
    if code<1300:
        continue
    try:
        symbol_data = my_share.get_historical(share.PERIOD_TYPE_YEAR,S_year,share.FREQUENCY_TYPE_WEEK,S_week)
    except YahooFinanceError as e:
        continue
    
    ~処理省略~

この書き方で以前は1銘柄あたり数秒で処理できていたのですが、最近急に処理速度が遅くなってしまいました。（1銘柄あたり1分ほど）
途中で処理を止めると、

symbol_data = my_share.get_historical(share.PERIOD_TYPE_YEAR,S_year,share.FREQUENCY_TYPE_WEEK,S_week)

ここの処理で時間をとっているようです。

原因として何が考えられるでしょうか。

Answer 1

benfred/py-spy: Sampling profiler for Python programs

上記のライブラリを使えば具体的にどこの箇所で時間が掛かっているか見れるので導入を検討してみてください。

「推測するな、計測せよ」という格言があります。下手に推測して間違った箇所の最適化を行うよりも最初から計測してボトルネックとなる箇所をピンポイントで修正した方がトータルで時間が節約出来るはずです。

Comments

[masamaaasa]

連絡遅れて申し訳ありません。ご回答、ありがとうございます！
中身の方、まだ理解できておりませんので、まず内容の理解からしていこうと思います！