seleniumを使ってサイト内の複数URLを取得したいです

Question

seleniumを使ってサイト内にある複数URLを自動で取得したいのですがやり方がわからないので質問させていただきます。
例えば、このサイトのようにリスト型にURLが入っています。下記のコードは「あ行」を取得しようとしています。

options = Options()
options.binary_location = '/Applications/Chromium.app/Contents/MacOS/Chromium'
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)

for i in range(28):
	driver.get("https://www.saiseikai.or.jp/medical/disease/")
	sickClick=driver.find_element_by_class_name("MedicalCheckTabCont.MedicalCheckTabCont3.tab1")
	sickClick.find_element_by_tag_name("a").click()

	time.sleep(3)
	print(driver.title)
	print(driver.current_url)

上記のコードだと一つ目（アキレス腱炎）の値だけしか取れず何かをしなければならないのはわかっているのですが何をすればいいのかわかりません。
２つ目以降を順番に取得する方法をわかる方いらっしゃれば教えていただけますと幸いです。

「あ行」までの取得方法

driver.get("https://www.saiseikai.or.jp/medical/disease/#tab0")
tabs = driver.find_elements_by_class_name("ContentAreaInner")
link = tabs[0].find_elements_by_tag_name("a")
for link1 in link:
    print('({})'.format(link1.get_attribute('href')))

Answer 1

リンクを取得するだけならクリックしてページ遷移するのはエラーの元です。
find_elementは1つしか取得できないので投稿者さんのコードは1つ目の取得を28回くりかえしています。
配列はfind_elementsで取得します。
以下はrubyのコードですがpythonで対応する書き方が可能だと思います。

#driverの起動までは省略

#サイト表示
driver.navigate.to 'https://www.saiseikai.or.jp/medical/disease/#tab0'

#MedicalCheckTabContクラスの要素を配列で取得(あ行からら行まで全て、ここは好み)
tabs = driver.find_elements(:class, "MedicalCheckTabCont")

#あ行のa要素を配列で取得
link1 = tabs[0].find_elements(:tag_name, "a")

#配列からa要素を順に取り出してhref(リンク)を表示
link1.each do |link|
 puts(link.attribute("href"))
end

ここに必要に応じてsleep()をいれていく。
これならあ行以外も取り出すように応用が効くからよさそう。

Comments

[Mario_11]

できました！ありがとうございます！！
重ねて質問なのですが私のコードでは「あ行」しか取得できなかったのですがrubyでは「ら行」まで取得できましたか？

[SOU_2929831]

tabsに収めた1つ目のdiv要素(tab[0])があ行ですから、2つ目の要素(tab[1])はか行が得られますよね。
あとは同様にリンクを表示できませんか。こちらではできています。

[Mario_11]

なるほど！ありがとうございます。

Answer 2

色々と他の書き方も不審な点があるので、
そこも書き直した方がいいと思います。

driver.get("https://www.saiseikai.or.jp/medical/disease/")
driver.find_element_by_link_text('あ').click()
time.sleep(3)

link_list = []
for li_tag in driver.execute_script('return document.getElementsByClassName(\'MedicalCheckTabCont\') > ul.children'):
    link_list.append(li_tag.find_element_by_tag_name('a').get_attribute('href'))
print(link_list)

ちなみに無理やり一撃で書くこともできて、

print([li_tag.find_element_by_tag_name('a').get_attribute('href') for li_tag in driver.execute_script('return document.getElementsByClassName(\'MedicalCheckTabCont\') > ul.children')])

となります。

この手の情報取得だけだったらBeautifulSoupで十分ですが、
より色々なことができるseleniumに慣れておく方が吉でしょう。
この規模なら有意な差はでませんが、
量が多くなってくるとBeautifulSoupの方が速いです。

Answer 3

自分が調べた限りでは分かりませんでした
HTMLソースから要素などを取得するには、BeautifulSoupという専用のモジュールを使ったほうが良いと思います

こちらを少し変えて以下のようにしました

from bs4 import BeautifulSoup, Comment
from selenium.webdriver import Chrome
from pprint import pprint

c = Chrome()
c.get("https://www.saiseikai.or.jp/medical/disease/")
bs = BeautifulSoup(c.page_source, "lxml")
res = dict()

for section in bs.find_all("div", class_=["MedicalCheckTabCont", "MedicalCheckTabCont3"]):
    tab = section.h4.text.strip()
    res[tab] = list()
    for item in section.find_all("li"):
        yomi_elem = item.a.find_all(string=lambda text: isinstance(text, Comment))[1]
        yomi = BeautifulSoup(yomi_elem.string, "lxml").text[1:-1]
        res[tab].append({
            "title": item.a.text[2:].strip(),
            "reading": yomi,
            "link": item.a.get("href")
        })

pprint(res)