POST送信で生成するサイトの次のページを取得したい

Question

前提・実現したいこと

python2.7での以下のサイトのスクレイピングに挑戦しています。
診療科目「内科・小児科」の市区町村別の表をcsvで書き出すのが目的です。
http://medinf.mmic.or.jp/kensaku/kensaku_menu2.php?mode=consul

発生している問題・エラーメッセージ

上のURLに、チェックの入っている市区町村のinputタグのnameとvalueを辞書型にしてrequest.postで送信すると検索結果のページになりました。
情報が少ない市区町村のデータは一応書き出すことには成功したのですが、25件を超える市区町村だと1ページ目の情報しか書き出されません。
GoogleChromeの「検証」で「次の25件」をクリック後のページを調べてみると、また別のパラメータがPOSTで送られているようです。
ならば1ページ目の情報を書き出したあとに、もう一度request.postでそのパラメータを送信すればどうかと思ったのですがうまく行かずエラーページが出てきてしまいます。

該当のソースコード

#coding:cp932

import requests
from bs4 import BeautifulSoup
from ast import literal_eval
import csv
import codecs
import re
from time import sleep

#グローバル変数
#サイトURL
url="http://medinf.mmic.or.jp/kensaku/kensaku_kekka2.php?mode=consul"

#抽出する市区町村をグローバル変数に
chiiki="青葉区"

#保存場所
fpath='デスクトップのパスを入れています'

def main():

    #市区町村コードげと
    c=area_select(chiiki)

    data={
    'chkbox1[0]': '1', #内科
    'chkbox1[6]': '9', #小児科
    }

    data.update(c)
    response=requests.post(url,data)

    soup=BeautifulSoup(response.text,"html.parser")
    nextflg=soup.find_all('input')
 
    table2csv(soup) #ここまでは一応成功します

    for s in nextflg:
        if 'all_rows' in str(s):
            n=soup.find('input',attrs={'name':'all_rows'})['value']
#まずはパラメータをそのまま入れたのですが失敗します
            nextgo={'mode':'page','offset':'25','all_rows':'196',
            'coment':'診療科目から探す',
            'precondition':'内科、小児科　＆　'+chiiki,
            'repair_mode':'consul'}
            nextres=requests.post(url,nextgo)
            soup=BeautifulSoup(nextres.text,"html.parser")
            print(soup.prettify('shift-jis'))#エラーページが出ます
            table2csv(soup)

def table2csv(soup):
    #4つ目のテーブルに処理を行う
    table=soup.findAll("table",{"class":""})[3]
    #print (table)
    rows=table.findAll("tr")

    with open(fpath+"/"+chiiki+".csv","wt") as file:
        writer=csv.writer(file)
        for row in rows:
            csvrow=[]

            for cell in row.findAll(['td','script','th']):

                if "script" in cell.name:
                    ad=address_get((cell).prettify('shift-jis'))
                    csvrow.append(ad)
                else:
                     csvrow.append(cell.get_text().encode('cp932'))
            writer.writerow(csvrow)

    #変なコンマ等が入っていて直せなかったので置換しています
    with open(fpath+"/"+chiiki+".csv") as file:
        data_lines=file.read()

    data_lines = data_lines.replace('\n', '')
    data_lines = data_lines.replace(',"",', ',')

    with open(fpath+"/"+chiiki+".csv","w") as f:
        f.write(data_lines)

def area_select(chiiki):
    areas={
    "青葉区":["chkbox100[0]",'1'],
#省略
#1ページのみで成功した町
    "松島町":["chkbox100[10]",'11'],
    }

    #地域にチェック入れて返す
    idx=dict(zip(areas[chiiki][0::2],areas[chiiki][1::2]))
    return idx

def address_get(str):
    address_code='$adrsname=\".*\"'
    adrs=re.search(address_code,str)
    adrs=adrs.group().replace('$adrsname="','')
    return adrs

if __name__ == '__main__':
    main()

試したこと

原因として考えたのが、
1.そもそも一度request.postしたページに再度request.postしても次のページは開けない
2.'precondition':'内科、小児科　＆　'+chiiki,の文字コードがサイトと合ってなくて文字化けしたパラメータが渡されている
3.その他

1.についてはできそうだと思ったのですが確信が持てず
2.文字コードをshift-jisにしてから送信してはと思ったのですが方法がわかりませんでした

エラーページが出てきてしまうので、python上のエラーとしてはtable=soup.findAll("table",{"class":""})[3]の部分でout of rangeが出るくらいで原因の特定が出来ず困っています…

補足情報（FW/ツールのバージョンなど）

python 2.7
windows10

######回答をいただいた後にseleniumを使って作った修正版
KUROROさんに作っていただいたものとは別に自分でも作っていたので、対比として載せておきます。作っていただいたものと並べて見ることで、「こんな方法があるのか」「こう書けばすっきりするのか」ととても勉強になりましたので、自分と同じくらいのレベルであがいている人の役には立つのではないかと考えました。

#coding:cp932

import time
from selenium import webdriver
import chromedriver_binary
from bs4 import BeautifulSoup
import csv
import codecs
import os

#グローバル変数
#サイトURL
url='http://medinf.mmic.or.jp/' #トップページ

#抽出する市区町村
chiiki="青葉区"

#保存場所
#fpath='デスクトップパス'
fpath=os.path.expanduser('~/Desktop')

def main():
##    try:
        #市区町村コードげと
        c=area_select(chiiki)

        driver=webdriver.Chrome()
        driver.get(url)
        time.sleep(1)

#この辺はdriver.find〜by_なんとか().clickと書いて良いのを知りませんでした…
        #検索ページに移動
        kensakuP=driver.find_element_by_link_text(u"診療科目と所在地")
        kensakuP.click()

        #内科
        naika=driver.find_element_by_name("chkbox1[0]")
        naika.click()

        #小児科
        shounika=driver.find_element_by_name("chkbox1[6]")
        shounika.click()

        #地域
        area=driver.find_element_by_name(c)
        area.click()

        #検索ボタン
        kensakuB=driver.find_element_by_xpath("/html/body/div/table[2]/tbody/tr[8]/td/input[1]")
        kensakuB.click()

        #次の25件が出なくなるまで繰り返し
        while True:
#driver.find_elements(By.TAG_NAME, "tbody")で取得すればよいのがわからなかったので前回のを使っています
#そのせいで各ページの表の見出しが繰り返し取得されてしまっています(要修正部分)
            source=driver.page_source
            soup=BeautifulSoup(source,"html.parser")

            table2csv(soup)

            #次へトライ
            try:
                nextgo=driver.find_element_by_xpath("/html/body/div/table[3]/tbody/tr/td[3]/input[1]")
                nextgo.click()
                time.sleep(3)
            except Exception:
                break
            finally:
                driver.quit

                #直せないから置換する
                with open(fpath+"/"+chiiki+".csv") as file:
                    data_lines=file.read()

                data_lines = data_lines.replace('\n', '')
                data_lines = data_lines.replace('",,', '",')

                with open(fpath+"/"+chiiki+".csv","w") as f:
                    f.write(data_lines)
def area_select(chiiki):
    areas={
#値をリストではなく文字列に変更
        "青葉区":"chkbox100[0]", 
#省略
　　　}
    #地域コード返す
    idx=areas[chiiki]
    return idx

def table2csv(soup):
    #テーブル
    table=soup.findAll("table",{"class":""})[3]#.prettify('shift-jis')
#省略
#if "script" in cell.name:の条件分岐部分をまとめて削除

Answer 1

おはようございます。

問題文読ませていただきました。

自分の方でスクレイピングを作成しましたので、以下の手順にてご確認いただけますか？

1. こちらのページへアクセスする。
2. 緑の「Code」ボタンをクリックする。
3. 「Download ZIP」ボタンをクリックする。
4. ダウンロードしたZipファイルをデスクトップへ移動する。
5. Zipファイルをダブルクリックして展開する。
6. ターミナルを開く。
7. internal-medicine-scriping-master ディレクトリ内へ移動する。cdコマンドを利用する。
8. pip install -r requirements.txtを実行する。(main.pyを実行する際に必要なパッケージをインストールする。)
9. python main.pyを実行する。

もしかすると、selenium周りでエラーが出るかもです。

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[pia]

回答ありがとうございます。seleniumを使う方法も最初に少しだけ挑戦してみたのですが、getではなくpostでページを取得する方法がわからなかったので、諦めてしまっていました。今度はもっとよく調べてみます。

[退会済みユーザー]

お疲れ様です。回答の更新を行いました。
ご確認いただけますと幸いです。????‍♂️

[pia]

わざわざ作っていただいてしまい申し訳ないです…。ありがとうございます。
気づくのが遅くて会社のwindows10で動かす時間がなかったので、自宅のMacで動作確認しようと思ったのですが、OSが古いせいかseleniumと関係ないところでエラーが出ていますので、週明けに会社で動かしてみます。
(実はMacにpythonが入っていることも今日初めて知りました…)
seleniumでのテーブルの取得のやり方や、全ページの情報をまとめておいてcsvに書き込むやり方などとても勉強になりました。

[退会済みユーザー]

いえいえ！

また困ったこととかありましたら、気軽にご相談ください〜！！

[pia]

おはようございます。早速試したのですが、エラーが出るので調べてみたところwebdriver_managerというのが3.6以上でないと対応していないようでした。
ですので確認はできなかったのですが、テーブルのところ等を自分のコードに活かさせていただこうと思います。ありがとうございました！

Answer 2

原因として考えたのが、
1.そもそも一度request.postしたページに再度request.postしても次のページは開けない

はい。これが原因です。

記載されているページで検索してみました。

診療科目「内科・小児科」の市区町村別の表をcsvで書き出すのが目的です。
http://medinf.mmic.or.jp/kensaku/kensaku_menu2.php?mode=consul

調べてみると、　25件以上のコンテナを得るには引数 "offset" へ、任意の値をセットしてから　Webサーバーへ問い合わせ (submit) する仕様になっていますね

以下はボタンに ”次の25件を表示" と表示されているときのページの状態です。
引数 offset へ 値 "25" がセットされるようになっています。

<input type="hidden" name="offset" value="25">

ならば1ページ目の情報を書き出したあとに、もう一度request.postでそのパラメータを送信すればどうかと思ったのですがうまく行かずエラーページが出てきてしまいます。

これは、この検索サイトが、ステートフルな通信になるように、つくられているからです。
よくある仕様で、セッション管理をしているので前のページの状態は、サーバー側で把握している状態になっていると思います。
なので、クライアント側のＷｅｂブラザーではＵＲＬは変わっていないけど、クライアントへ送られてくるレスポンスには（サーバー側が、現在のクライアント側を把握できているので）次のページが送られてきています。

Comments

[pia]

回答ありがとうございます。サーバー側は「今は検索ページを表示しているところ」「今は1ページ目を開いているところ」みたいな情報を持っているけど、こちらからそれをどうこうすることは出来ないので、POSTだけ真似しても無駄という理解で合ってるでしょうか。
残念です…