python、ページ遷移時にurlが変わらないwebページのスクレイピング href = javascript:void(0);となっている場合

Question

前提・実現したいこと

厚生労働省の介護サービス情報公表システムを使って,介護事業所の情報を条件を設定してスクレイピングしたいと考えています。しかしながら、条件を設定して検索しても、urlが変わらないため、スクレイピングができずに困っています。(http://www.kaigokensaku.mhlw.go.jp/27/index.php?action_kouhyou_pref_search_list_list=true&PrefCd=27)
次のページを示すところの要素を見ると、href = javascript:void(0); となっており、ページを帰ることができません。
どのようにすればページを切り替えることができるのでしょうか。
似たような質問(https://teratail.com/questions/128962)をみて、今回はjavascriptで覆われているためどう解明すればいいのかわかりません。

また、こちらの事業所検索ページ(http://www.kaigokensaku.mhlw.go.jp/27/index.php?action_kouhyou_pref_search_keyword_search=true) で条件を入力して、絞り込んで検索したページをスクレイピングということは可能でしょうか。

何とぞよろしくお願いいたします。

該当のソースコード

import requests
import lxml.htmnl

r = requests.get("http://www.kaigokensaku.mhlw.go.jp/27/index.php?action_kouhyou_pref_search_list_list=true&PrefCd=27")
root = r.lxml.html.fromstring(html)
next = root.xpath("//*[@id="pagerTop"]/ul/li[3]/a")
URL = next[0].attrib("href")

みたいなことをやってみましたが、結局飛んだ先もURLが変わらないため、同じページをrequestsしてしまいます。

試したこと

補足情報（FW/ツールのバージョンなど）

python3でやっています。

Answer 1

1. Chromeで右クリックのメニューの検証をクリック
2. Network
3. ページ送りの2をクリックするとページが読み込まれる
4. Nameの一番上のHeadersの中のFormDataを見ればいいです。

Comments

[tatpka]

わかりやすく説明していただき大変ありがとうございました！
このDataFormの中に、addressという要素がありそこに住所リストから住所を自動入力させることができないかなと思っています。https://teratail.com/questions/164789?modal=q-comp 新しく質問を作ったので、ご教授いただくことはできないでしょうか！よろしくお願いいたします。

Answer 2

流れとしては

ページ2ボタンを確認

<a href="javascript:void(0);" onclick="pagerForm(5,5,null,null); return false;">2</a>

「pagerForm」を検索

//ページャー関数
function pagerForm(offset, count, sort, order) {
    var f = document.ResultListForm;
    f.p_offset.value = offset;
    f.method.value = 'pager';
    f.submit();
}

「ResultListForm」を検索

<form method="post" action="index.php?action_kouhyou_pref_search_list_result=true&amp;PrefCd=27" name="ResultListForm" id="sel_ResultListForm">
    <input type="hidden" name="method" value="">
    <input type="hidden" name="action_kouhyou_pref_search_list_result" value="true">
    <input type="hidden" name="p_count" value="5">
    <input type="hidden" name="p_offset" value="0">
    <input type="hidden" name="p_sort_name" value="48">
    <input type="hidden" name="p_order_name" value="1">
    <input type="hidden" name="PrefCd" value="27">
    <input type="hidden" name="OriPrefCd" value="27">
    <input type="hidden" name="ServiceType" value="">

このpost部分をマネしたらいいのでこんな感じになります。

import time

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

url = 'http://www.kaigokensaku.mhlw.go.jp/27/index.php?action_kouhyou_pref_search_list_result=true&PrefCd=27'

for i in range(0, 200, 50):

    payload = {
        'method': 'pager',
        'action_kouhyou_pref_search_list_result': 'true',
        'p_count': 50,
        'p_offset': i,
        'p_sort_name': 48,
        'p_order_name': 1,
        'PrefCd': 27
    }

    r = requests.post(url, headers=headers, data=payload)

    if r.status_code == requests.codes.ok:

        soup = BeautifulSoup(r.content, 'html5lib')

        time.sleep(10)

        print(soup.prettify())

Comments

[tatpka]

返信遅くなって申し訳ありません！ ご回答ありがとうございました。
おかげさまで、ページ切り替えてスクレイプすることができました！
質問なのですが、どうやってjavascript内の「pagerForm」の中身を確認することができるのでしょうか。
それがわかれば今後:javascriptが出て来てもスクレイプできる気がするので。教えていただけたら嬉しいです！

[barobaro]

別回答にて追加しました。
JavaScriptではなくHTTPのPOSTでサーバへのデータの送信しています。
詳しくは下記の参照してください。

HTTPとPOSTとGET
https://qiita.com/Sekky0905/items/dff3d0da059d6f5bfabf

Answer 3

seleniumの練習で次へをクリックで作成しました。
なぜか最後の方になると取得できずにエラーで止まります。

import time

from bs4 import BeautifulSoup

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select, WebDriverWait

driver = webdriver.Firefox()

# URL
driver.get(
    "http://www.kaigokensaku.mhlw.go.jp/27/index.php?action_kouhyou_pref_search_list_list=true&PrefCd=27"
)

# 待機
wait = WebDriverWait(driver, 30)
wait.until(EC.presence_of_element_located((By.ID, "resultListFrame")))

# iframeを変更
iframe = driver.find_element_by_id('resultListFrame')
driver.switch_to_frame(iframe)

# 50件表示に変更
select_element = driver.find_element_by_class_name('noPrint')
Select(select_element).select_by_value('50')

while True:

    # 待機
    wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "li.pagerNext > a")))

    pagernext = driver.find_element_by_css_selector("li.pagerNext > a")

    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')

    # プログラム

    if pagernext is None:
        break

    else:
        pagernext.click()
        time.sleep(3)

driver.quit()