seleniumでfind_elementsしたときのlistの.textの高速

Question

前提・実現したいこと

seleniumでfind_elementsしたときのlistの.textを高速化したい
いまforループで取得しているのですが，listが長いので，時間がかかっています．
この部分の時間を短縮したいので，forループ以外の書き方があればご教授お願いします．

発生している問題・エラーメッセージ

seleniumでdriver.find_elements_by_で取得したものを.textで変換し，csvに記述しているのですが，forループが長く，時間がかかります．

該当のソースコード

python
text_list = []
a = driver.find_elements_by_id("ID")
for i in a:
text_list.append(i.text)

Answer 1

スクレイピング対象の具体的なサイトアドレスが全く示されていないため手探りになりますが、
とりあえず内包表記を利用して

text_list = []
a = driver.find_elements_by_id("ID")
text_list.extend([i.text for i in a])

としてみたらどれくらい変化がありますでしょうか？

あどchromedriverよりもgeckodriverの方が速いという情報もあります。
https://qiita.com/BlueSilverCat/items/08bb94468484e2db3ca3

---

from time import time #時間計測用
s=time()
driver.get(url)
text_list = []

a = driver.find_elements_by_class_name("m05")
text_list.extend([i.text for i in a])
print(time()-s)

上記のコードで計測すると、ページが表示されて以降リストの取得自体は4～5秒で完了しています。

※リスト取得ではなく。Chromeでのサイトの読み込みに時間がかかるのは、サイト自体の問題だと思います。

Comments

[takugon92]

返信ありがとうございます．
いま，taizanさんの方法で実装しました．
forループでは4件情報を得るのに，
21→19→25→29秒

内包表記では
21→22→25→31秒

で大してかわらずでした．

geckodriver使ってみます．

スクレイピング先は
https://www.hellowork.mhlw.go.jp/kensaku/GECA110010.do?action=initDisp&screenId=GECA110010
ハローワークで，自分の入れた条件で検索し，詳細にうつり，その情報をすべて取得するプログラムを作っています．情報不足ですみません

https://www.hellowork.mhlw.go.jp/kensaku/GECA110010.do?screenId=GECA110010&action=dispDetailBtn&kJNo=0101018101801&kJKbn=1&jGSHNo=R91e%2B8msDguRrfwZUk5qCg%3D%3D&fullPart=1&iNFTeikyoRiyoDtiID=&kSNo=&newArrived=&tatZngy=1&shogaiKbn=0

↑サイトのclass_name　m05をfind_elements_by_class_nameで取得し，csvの保存したいのです

[kotori_a]

回答後半に追記しました。