python スクレイピングの処理時間が長いのでアドバイスが欲しいです。

Question

株式情報(1400銘柄)をcsvデータに保存しています。
処理自体はしっかり動くのですが、処理時間がすごく長いです。
プログラミングの勉強を始めたばかりで、無駄なことを書いている可能性があると思います。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import chromedriver_binary
import time
import traceback
import pandas as pd

stratTime = time.time() #プログラムの開始時刻

options = Options()
options.binary_location = '/Applications/Chromium.app/Contents/MacOS/Chromium'
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)


for i in range(1,70):
	driver.get("https://minkabu.jp/financial_item_ranking/market_capitalization?order=asc&page=" + str(i))#&page=2
	class_name = driver.find_element_by_tag_name("tbody").find_elements_by_tag_name("tr")[1:]
	
	for souse in class_name:
		driver = webdriver.Chrome(options=options)
		number = souse.find_elements_by_class_name("md_sub")[0].text
		print("取得する銘柄は"+number+"です")
		driver.get("https://kabuoji3.com/stock/"+number+"/")
		time.sleep(5)
		all_price = driver.find_elements_by_tag_name("tbody")
		print(driver.current_url)
		a_df = pd.DataFrame(columns=['日付','始値','終値','出来高'])

		for data in all_price:
			date = data.find_element_by_tag_name("tr").find_elements_by_tag_name("td")[0].text
			time.sleep(1)
			opening_price = data.find_element_by_tag_name("tr").find_elements_by_tag_name("td")[1].text
			time.sleep(1)
			closing_price = data.find_element_by_tag_name("tr").find_elements_by_tag_name("td")[4].text
			time.sleep(1)
			Volume = data.find_element_by_tag_name("tr").find_elements_by_tag_name("td")[5].text
			time.sleep(1)		
			tmp_se = pd.Series( [ date, opening_price, closing_price, Volume ], index=a_df.columns )
			a_df = a_df.append( tmp_se, ignore_index=True )
		mycsv = a_df.sort_values('日付')
		a_df.to_csv(number + "_stockPriceData.csv",index=False)
endTime = time.time() #プログラムの終了時刻
runTime = endTime - stratTime #処理時間
print(runTime)

可能な限り処理時間を短くするための具体的なアドバイスが欲しいです。
ちなみに今の処理時間は二日以上かかります。途中で下記のようなエラーが出るため処理が完了したことはありません。(200銘柄がマックス取得です。)

selenium.common.exceptions.WebDriverException: Message: unknown error

そのほかに考えられる問題があればそちらも兼ねてお答えいただければと思います。
何卒よろしくお願い申し上げます。

Answer 1

cProfileモジュールを使うと、各命令での実行時間がわかりますので、どこで時間がかかっているのか調べましょう。
Python プロファイラ

Comments

[otn]

> 処理が完了したことはありません。
あ、当然ですが、実行が終わらないと結果が出ないので、銘柄数を絞るなりなんなり。

Answer 2

一番問題なのはプログラムの最終行にdriver.quit()が打たれておらず
実行の度にメモリにガベージがたまっていくことです。
実行の度にどんどん遅くなっていきます。

Answer 3

単に不要な time.sleep を減らせばいいのでは。

for data in all_price:

このループの中で time.sleep(1) を何度も実行していますが、スリープする必要性を感じません。

ただし、それによってアクセス過多等でアクセス元に迷惑をかけたとしても私は責任を取りません。
スリープを削除する場合は、スリープが必要かどうかをよく考えて、質問者ご自身の責任の元で行ってください。

ちなみに、現在のコードが適切な手法かどうかもチェックしてませんのであしからず。