python で医者情報をスクレイピングしたい

Question

実現したいこと

https://hospital.fujita-hu.ac.jp/
上記のサイトの診療科ページにある医者情報をスクレイピングしたい。
診療科をクリックして、その下に医者紹介ページがあります。
なので、診療科ごとのページまで遷移し、医者の情報をスクレイピングする必要があります。
https://hospital.fujita-hu.ac.jp/department/emergency-general-staff.html

発生している問題・分からないこと

実行してもエラーは発生しないのですが、情報を取得できないです。
空のCSVが出力されてしまう

該当のソースコード

import requests
from bs4 import BeautifulSoup

# 藤田医科大学病院のウェブサイトのURLを指定
url = "https://hospital.fujita-hu.ac.jp"

# ウェブページを取得
response = requests.get(url)
html_content = response.content

# BeautifulSoupを使ってHTMLを解析
soup = BeautifulSoup(html_content, "html.parser")

# 各診療科のページのリンクを取得
department_links = soup.find_all("a", {"class": "department-link"})

# 医師情報を格納するリスト
doctors = []

# 各診療科のページを順に処理
for link in department_links:
    department_url = url + link["href"]
    department_response = requests.get(department_url)
    department_soup = BeautifulSoup(department_response.content, "html.parser")
    
    # 医師紹介ページのリンクを取得
    doctor_links = department_soup.find_all("a", {"class": "doctor-link"})
    
    # 各医師ページを処理
    for doctor_link in doctor_links:
        doctor_url = url + doctor_link["href"]
        doctor_response = requests.get(doctor_url)
        doctor_soup = BeautifulSoup(doctor_response.content, "html.parser")
        
        # 医師の情報を抽出
        name = doctor_soup.find("h2", {"class": "doctor-name"}).text.strip()
        specialty = doctor_soup.find("div", {"class": "doctor-specialty"}).text.strip()
        qualifications = doctor_soup.find_all("div", {"class": "doctor-qualification"})
        
        # 医師の情報をリストに追加
        doctor_info = {
            "name": name,
            "specialty": specialty,
            "qualifications": [q.text.strip() for q in qualifications]
        }
        doctors.append(doctor_info)

# 医師情報をCSVファイルに出力
import csv
with open("doctors.csv", "w", newline="", encoding="utf-8") as csvfile:
    fieldnames = ["name", "specialty", "qualifications"]
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for doctor in doctors:
        writer.writerow(doctor)

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

調べてみても情報を取得できない

補足

特になし

Comments

[melian]

# 各診療科のページのリンクを取得
department_links = soup.find_all("a", {"class": "department-link"})

department-link クラスの a 要素が存在しないので department_links が空リストになります。そのため、以降のループ処理が実行されずに医師情報を格納するリスト doctor も空リストのままになっています。

[YT0014]

スクレイピングすることが、当該サイトのサイトポリシーに反しているように思えますが、許可は得ておらえるのでしょうか？
https://hospital.fujita-hu.ac.jp/site-policy.html
「これらコンテンツ（文章、図画、写真、各種データ等）は、日本の著作権法、条約および他国の著作権法にいう著作権により保護されており、私的利用の範囲を超えて利用することはできず、また、権利者の許可なく改変、複製、賃貸、貸与、販売、出版、送信、放送等、方法の如何を問わず第三者の利用に供することを固く禁じます。ただし、個々の著作物に個別の利用条件が付されている場合は、当該条件が優先されます。」

Answer 1

やって良いことか悪いことか、一度考えてみるのはいかがですか？

参考: サイトポリシー | 藤田医科大学病院