pythonのスクレイピングでデータが取得できない

Question

Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。

ウェブページは以下のものです。

https://nintei.nurse.or.jp/certification/General/(X(1)S(efl0y555pect3x45oxjzfw3x))/General/GCPP01LS/GCPP01LS.aspx?AspxAutoDetectCookieSupport=1

以前に試した方法として、以下のようなものをテンプレートにしているのですが、エラーは起きないのですが、うまく取得できません。

#保存用

driver_path = r'C:\Anaconda3\chromedriver.exe'#自分のChoromedriverの場所

#読み込みたいフォルダの場所
URL = 'https://nintei.nurse.or.jp/certification/General/(X(1)S(efl0y555pect3x45oxjzfw3x))/GCPP01LS/GCPP01LS.aspx'

#格納したいフォルダの場所
send_path = r'C:\Users\akira\Documents\Python\会社'



from selenium import webdriver
import time
import bs4
import re
import os
import time
import shutil
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

start = time.time()


driver = webdriver.Chrome(driver_path)
driver.get(URL)
time.sleep(3)

soup = bs4.BeautifulSoup(driver.page_source, 'html5lib')

base = 'https://nintei.nurse.or.jp/certification/General/'

soup_file1 = soup.find_all('a')
href_list = []

file_num = 1
sum_file = 1

cc = 0
for s in soup_file1:
    if s.string=='検索':
        path = base+s.get('href')
        href_list.append(path)
        
        print(path)
        driver.get(path)
        
        WebDriverWait(driver, 300).until(EC.element_to_be_clickable((By.XPATH,'//*[@id="ctl00_plhContent_btnSearchMain"]')))
        driver.find_element_by_xpath('//*[@id="ctl00_plhContent_btnSearchMain"]').click()

        while sum_file == file_num :
            sum_file = len(os.listdir(r'C:\Users\akira\Downloads'))
                
        else:
            print("現在のダウンロードファイル数_{}枚".format(sum_file-1))
            file_num += 1
            
        cc += 1
        

#一時ファイルが邪魔をする場合があるので時間を少し開ける
time.sleep(60)

        
#ファイルの移動


dw_path = r'C:\Users\akira\Documents\Python\会社'
dw_list = os.listdir(dw_path)

dw_xlsx = [f for f in dw_list]
for dw in dw_xlsx:
    shutil.move(r'C:\Users\akira\Documents\Python\会社')

Comments

[tetuhiroshi]

具体的には、どのようなことをするプログラムなのでしょうか。
詳しく書いていただけると、助かります。

[onosan]

ご連絡がおそくなってしまいすみません。当初は、一括で看護師やその関係者を一括でダウンロードするようなプログラムを考えていたのですが、どうも一括でダウンロードするのは難しそうだという感触を得ていて、そうであればある程度分割してでも、このページの情報を全てエクセルなどにダウンロードする方法はないかと検討している次第です。当方、pandasなどは勉強しているのですがスクレイピングの知識が圧倒的に欠落していて、どのように手をつければよいのか困り果てているところです。
ご協力いただけますと幸いです。

[tetuhiroshi]

ページの情報すべてというのは、認定看護師の資格を持つ方のリストを、条件指定をせずにすべて取得する、ということでしょうか？

[onosan]

ご連絡ありがとうございます。当初言われたのは、認定看護師、認定看護管理者、専門看護師全てということだったのですが、かなり難しそうなので、認定看護師全てにさせていただければと思います。それが、わかれば、認定看護管理者と専門看護師全ても応用でできるのではないかと思います。
重ねて、ご協力いただけますと幸いです。

Answer 1

先にお送りしたプログラムは、捨ててしまってください。
データを一部ダウンロードできない不具合がありました。

そして、これでどうでしょうか？

お試しでデータをダウンロードするか(400件のみ)・
データの内容を逐一表示するか・ダウンロードの進捗を表示するか
<- TEST, DATA_DISPLAY, PROGRESS_DISPLAY

の、３つのフラグと、

どの資格区分のデータをダウンロードするか
<- QUALIFICATION

のオプションをつけておきました。

とりあえず、PROGRESS_DISPLAYとTESTをTrueにして、動かしてみてください。

INTERVAL = 0.5 # アクセスの間隔(1.5秒以上が好ましい)

TEST = True # テスト用データを取得するか(本番ではFalseに設定)
DATA_DISPLAY = True # データの内容を逐一確認するか
PROGRESS_DISPLAY = True # 進捗を表示するか

# "認定看護師" "認定看護管理者" "専門看護師"のいずれかを入力
QUALIFICATION = "認定看護師"


from bs4 import BeautifulSoup
from selenium import webdriver
import re
import time
import pandas

prefectures = ["北海道", "青森県", "岩手県", "宮城県", "福島県", "秋田県", "山形県", "新潟県", "富山県", "石川県", "福井県", "長野県", "岐阜県", "山梨県", "静岡県", "愛知県", "茨城県", "千葉県", "栃木県", "埼玉県", "東京都", "神奈川県", "群馬県", "滋賀県", "三重県", "京都府", "奈良県", "兵庫県", "大阪府", "和歌山県", "鳥取県", "島根県", "山口県", "岡山県", "広島県", "香川県", "愛媛県", "徳島県", "高知県", "福岡県", "佐賀県", "長崎県", "熊本県", "大分県", "宮崎県", "鹿児島県", "沖縄県"]

# 結果を格納する辞書
result = list()

# 分野別都道府県別検索のサイト
url = "https://nintei.nurse.or.jp/certification/General/(X(1)S(efl0y555pect3x45oxjzfw3x))/General/GCPP01LS/GCPP01LS.aspx?AspxAutoDetectCookieSupport=1"

# ドライバーでサイトにアクセスする
driver = webdriver.Chrome()
driver.get(url)

if QUALIFICATION == "認定看護師":
    button = "#ctl00_plhContent_radlstCert_0"

elif QUALIFICATION == "認定看護管理者":
    button = "#ctl00_plhContent_radlstCert_1"

elif QUALIFICATION == "専門看護師":
    button = "#ctl00_plhContent_radlstCert_2"

# 資格区分に応じたページに移動
driver.find_element_by_css_selector(button).click()

# 検索ボタンを押して一覧を表示する
driver.find_element_by_css_selector("#ctl00_plhContent_btnSearchMain").click()

while True:

    # ページ取得の間隔をあける
    time.sleep(INTERVAL)

    # ページのソースを取得する
    source = driver.page_source

    # ページのソースからBeautifulSoupオブジェクトを生成する
    soup = BeautifulSoup(source, "html.parser")

    # trタグを持つ要素のリストを取得する
    rows = list(soup.find_all("tr"))

    # trタグを持つ要素のリストから、資格別のリストを抽出する
    for row in rows:
        if len(list(row)) == 7 and list(row)[2].string in prefectures:
            person = dict()
            person["分野"] = list(row)[1].string
            person["都道府県"] = list(row)[2].string
            person["氏名"] = list(row)[3].string
            person["施設法人名"] = list(row)[4].string
            person["所属先施設名"] = list(row)[5].string
            # 情報をディクショナリに追加する
            result.append(person)
            
            if DATA_DISPLAY:
                print(person)

    # 全件数中、何件検索したかを取得し、表示する
    info = soup.select_one("html body form#aspnetForm div#container div table#ctl00_plhContent_dlvMain.list_table tbody tr td div#page_navi_wrapper.clearfix ul.page_navi li.pagetotal").text
    if PROGRESS_DISPLAY:
        print(info + "・取得済み")
        print("\n")

    # もし最後のページならスクレイピングを終了する
    match_result = re.match("[0-9]+～([0-9]+)件目／([0-9]+)件", info)
    if match_result.group(1) == match_result.group(2):
        break

    # もしTESTフラグがオンなら400件目までテスト用に取得する
    if int(match_result.group(1)) >= 400:
        break

    # 最後のページでないなら、次のページに移動する
    driver.find_element_by_xpath('//a[text()="[次]"]').click()

# ファイル名を生成する
file_name = "{}{}一覧.xlsx".format("テスト" if TEST else "", QUALIFICATION)
print(file_name + "に書き出し中")

# スクレイピングの結果をエクセルファイルに落とし込む
df = pandas.DataFrame(result)
df.to_excel(file_name, encoding="cp932", index=False)

Comments

[onosan]

tetuhiroshi様

ご連絡が遅くなりすみません。
バリデーションをして、確かに全てダウンロードできることが確認できました。
すばらしいです。もしよろしければ、この回答をする上で、あるいはどのようなサイトがスクレイピングの勉強になるか、ご教示いただけますと幸いです。
というのも、どうしてこれでうまくいくのか、まだ分からず、研究したいと考えております。
会社のPythonに詳しい人にも聞いてみますが、すばらしい力をお持ちですね。
本当に助かりました。ありがとうございます。

[tetuhiroshi]

seleniumはたしかに難しいと思います。
私もまだ読みやすくシンプルなプログラムはかけません。

こういうちょっと難しめな技術（複雑というか）を習得するにはやはり基本が一番だと思います。
インターネット上の散文的な情報を頼りにするのもいいですが、seleniumの公式サイトにある
ドキュメント(https://www.selenium.dev/documentation/en/)を一通り、
（できたら原文で！）試してみて、その上で一つでいいので、自分だけの
ソフトかなんかを作ってみると上達につながるのではないでしょうか。

公式ドキュメント英語で全部かーい！と言いたくなりますが、正規表現などと一緒で、
ここで時間をかけて自分に投資しておくと、あとで何倍ものお釣りとなってかえってくるはずです。
応援しています！

Answer 2

サイトの仕様に合わせて書いたので、あまり汎用性はありませんが、
このようなコードはいかがでしょうか？

# スクレイピング時のマナーとして、サーバーに負担をかけない、
# というものがあります。
# そのため、ページ取得の間隔を2秒間に設定しています。
# この場合、データの取得に11時間ほどかかりますが、これを短縮する
# としても、2秒を1.5秒に縮める程度に抑えることが
# 相手方への配慮として必要とご理解ください

interval = 2

DATA_DISPLAY = False

from bs4 import BeautifulSoup
from selenium import webdriver
import re
import time

prefectures = ["北海道", "青森県", "岩手県", "宮城県", "福島県", "秋田県", "山形県", "新潟県", "富山県", "石川県", "福井県", "長野県", "岐阜県", "山梨県", "静岡県", "愛知県", "茨城県", "千葉県", "栃木県", "埼玉県", "東京都", "神奈川県", "群馬県", "滋賀県", "三重県", "京都府", "奈良県", "兵庫県", "大阪府", "和歌山県", "鳥取県", "島根県", "山口県", "岡山県", "広島県", "香川県", "愛媛県", "徳島県", "高知県", "福岡県", "佐賀県", "長崎県", "熊本県", "大分県", "宮崎県", "鹿児島県", "沖縄県"]

# 結果を格納する辞書
result = list()

# 認定看護師のサイト
url = "https://nintei.nurse.or.jp/certification/General/(X(1)S(efl0y555pect3x45oxjzfw3x))/General/GCPP01LS/GCPP01LS.aspx?AspxAutoDetectCookieSupport=1"

# ドライバーでサイトにアクセスする
driver = webdriver.Firefox()
driver.get(url)

# 認定看護師医師欄のページに移動する
driver.find_element_by_css_selector("#ctl00_plhContent_btnSearchMain").click()

while True:

    # スクレイピングのマナーとして、ページ取得に一秒以上の間隔をあける
    time.sleep(interval)

    # ページのソースを取得する
    source = driver.page_source

    # ページのソースからBeautifulSoupオブジェクトを生成する
    soup = BeautifulSoup(source, "html.parser")

    # trタグを持つ要素のリストを取得する
    rows = list(soup.find_all("tr"))

    # trタグを持つ要素のリストから、看護師のリストを抽出する
    for row in rows:
        if len(list(row)) == 7 and list(row)[2].string in prefectures:
            person = dict()
            person["分野"] = list(row)[1].string
            person["都道府県"] = list(row)[2].string
            person["氏名"] = list(row)[3].string
            person["施設法人名"] = list(row)[4].string
            person["所属先施設名"] = list(row)[5].string
            # 看護師の情報をディクショナリに追加する
            result.append(person)

    # 全件数中、何件検索したかを取得し、表示する
    info = soup.select_one("html body form#aspnetForm div#container div table#ctl00_plhContent_dlvMain.list_table tbody tr td div#page_navi_wrapper.clearfix ul.page_navi li.pagetotal").text
    print(info)

    # もし最後のページならスクレイピングを終了する
    match_result = re.match("[0-9]+～([0-9]+)件目／([0-9]+)件", info)
    if match_result.group(1) == match_result.group(2):
        break

    # 最後のページでないなら、次のページに移動する
    driver.find_element_by_css_selector("#ctl00_plhContent_dlvMain > tbody:nth-child(1) > tr:nth-child(53) > td:nth-child(1) > div:nth-child(1) > ul:nth-child(1) > li:nth-child(9) > a:nth-child(1)").click()

# スクレイピングの結果
print(result)

whileループの中のperson変数を使ってexcelデータに落とし込んだり、
ループ終了後のresult変数から新しくファイルを作ったりとできるはずです。
データが取得できているか逐一確認したいときは、DATA_DISPLAYフラグを
Trueにして実行してみてください。

このコードのままだと、取得後データを表示して終わってしまうので、
関数にして使っていただくといいと思います。

Comments

[onosan]

tetuhiroshi様

ご回答ありがとうございます。
firefoxが使えない環境のため、Chromeにして、BeautifulSoapのバージョンを上げたところ、
動きました。
最後に来て、

IOPub data rate exceeded.
The notebook server will temporarily stop sending output
to the client in order to avoid crashing it.
To change this limit, set the config variable
`--NotebookApp.iopub_data_rate_limit`.

Current values:
NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)
NotebookApp.rate_limit_window=3.0 (secs)

となってしまいましたが、これは、おっしゃるようにサーバに負荷がかかっているのかもしれません。
こちら、コードのどの部分を直せばよいのか分からずと言う感じです。
すごく前進していて、とても助かっております。
大変恐れ入りますが、今一度お知恵を拝借できればと思います。
宜しくお願い申し上げます。

[onosan]

tetuhiroshi様

すみません。自己解決しました。
最後のprintをやめて、下記のようにDataFrameにすることで、エクセルに落ちました。
現状、看護師なのですが、認定看護管理者にするには、

driver.find_element_by_css_selector("#ctl00_plhContent_btnSearchMain").click()

を変えれば良さそうなのですが、こちら、どこを見ればよいか真に恐れ入りますが、
ご教示を賜れないでしょうか。
重ねて恐れ入ります。
何卒、よろしくお願い申し上げます。

import pandas as pd

df = pd.DataFrame(result)
df.to_excel("看護師.xlsx",encoding="cp932",index=False)