Pythonでのスクレイピングに関して

Question

Pythonでスクレイピングを修行中です。

パラメータが付与されるURLのスクレイピングはそのURLをベースに作りこめばどうにかなるのですが、JsでURLが見えない？サイトのページネーション、詳細ページへのアクセス方法はあれば教えてください。

例）
https://job.mynavi.jp/20/pc/search/query.html?HR:12/func=PCTopQuickSearch

から次のページ進むと

パラメータ付きのURLではなくなります。
https://job.mynavi.jp/20/pc/corpinfo/searchCorpListByGenCond/doNextPage
（※リンク張っても遷移できませんのでリンクは貼りません。）

検索・ページネーションで良くみるのが
?search=1
?page=1
などです・・・

この場合で調べたこと
・各エリアにユニークな値が振られているはずなのでそれを探す

Answer 1

このサイト相手にスクレイピングするツールを作るつもりなら
URLで直に指定しようとするのはナンセンスです。
逐一クリックするのが無難です。

情報が少ないですが「GUIで必要な条件を入力して出てくる検索結果を取得するツール」を
作ろうとしている認識であっているでしょうか。

phpでGUIを作り、シェルを叩かせてpythonを実行するというのが王道の形になると思います。（別にphpじゃなくてなんでもいいですが

例えばphpによって叩かれるシェルはこんなイメージで

python search.py '{"url":"https://hogehoge.jp","login_id":"hoge","login_pass":"fuga","is_maker":True,"is_syosya":False,"is_ryutsu_kouri":False ..... }

それを受けるpython(search.py)はこんな感じなると思います。

import sys
import json
from time import sleep
# Selenium関連import略

def main_func(info):

    # Selenium初期設定略

    # ログイン
    driver.get(info.get(url))
    driver.find_element_by_id('login').send_keys(info.get(login_id))
    driver.find_element_by_id('pass').send_keys(info.get(login_pass))
    driver.find_element_by_id('submit').click()

    # 検索ページに移動
    driver.find_element_by_link_text('検索ページ').click()

    # メーカーのチェックボックスにチェックを入れる
    if info.get(is_maker):
        driver.find_element_by_id('industryGroupInfoArray_1').click()

    # 商社のチェックボックスにチェックを入れる
    if info.get(is_syousya):
        driver.find_element_by_id('industryGroupInfoArray_2').click()

    # 流通・小売のチェックボックスにチェックを入れる
    if info.get(is_ryutsu_kouri):
        driver.find_element_by_id('industryGroupInfoArray_3').click()

    # 中略

    # 検索ボタンをクリックする
    driver.find_element_by_id('srchNarrowDownButton').click()

    # 5秒待機
    sleep(5)

    while True:

        # 検索結果を取得する
        for coup in driver.find_elements_by_class_name('boxSearchresultEach'):

            # 会社名
            print(coup.find_element_by_tag_name('h3').text)

            # アイコン
            for icon in coup.find_elements_by_class_name('icon'):
                print(icon.text)

            # 会社のキャッチコピー
            print(coup.find_element_by_tag_name('h4').text)

            # 説明会、セミナーなどの情報
            print(coup.find_element_by_class_name('announceBox01').text)

            # 業種
            print(coup.find_elements_by_class_name('linkCategory')[0].text)

            # 本社や従業員などの情報
            print(coup.find_elements_by_class_name('linkCategory')[1].text)

        # 次のページへボタンをクリック
        try:
            driver.find_element_by_id('upperNextPage').click()
            sleep(5)
        except NoSuchElementException:
            # 次のページへボタンが存在しない、つまり、最終ページまで読み切ったのでプログラム終了
            driver.quit()
            exit()

if __name__=='__main__':
    main_func(json.loads(sys.argv[1]))

マイナビ以外の就活サイトも対象にするつもりなら
共通化できそうな部分だけ集めた親クラスを作っておいて、
マイナビクラスやリクナビクラスをにそれを継承させ、
それぞれの子クラスに対して実行用のファイルを別途作る
MVCモデルを意識すべきだと思います。

少し辛辣ですが、質問力や技術力から察するに
ツールを完成させるのは相当な努力が必要かと思われます。
あなたがどのような状況下にあるのかは分からないですが、
どうしても完成させたいのなら
プログラミングに限らず勉強を積み重ねてください。

Comments

[Yeeeee]

ありがとうございます。
就活サイトがメインではないのですが、URLが変わらないサイトがメインになります。

ありがとうございます。

Answer 2

提供されたURLをScrapeStormに入力してうまくスクレイピングできました。
ScrapeStormを一度使用していかがでしょうか。

Comments

[Yeeeee]

ありがとうございます。
一応、ゴールとしては、ツール開発が目的なので・・・
参考にさせてもらいます。

Answer 3

ブラウザの開発者ツールなどで実際に操作した際のリクエスト、レスポンスを参照し、そのURLをベースに頑張って作りこめばどうにかなります。

Comments

[Yeeeee]

ありがとうございます。

Answer 4

HTTPとPOSTとGET
https://qiita.com/Sekky0905/items/dff3d0da059d6f5bfabf

さらに複雑なPOSTリクエスト
https://requests-docs-ja.readthedocs.io/en/latest/user/quickstart/

を勉強してください

Comments

[Yeeeee]

ありがとうございます。