Python - Form内のoption内容が変動する場合のparse

Question

環境

Python 3.6

BeautifulSoup4
requests

やっていること

BeautifulSoupとrequestsを使い、フォーム内の<select><option>の要素を取得しています。

例）

from bs4 import BeautifulSoup
import requests

url = 'http://xxxxxxxxxxx/'
html = requests.get(url)
soup = BeautifulSoup(html.content,'html.parser')
...

困っていること

ウェブページ上に複数の選択フォームがあり、片方を選択するとシームレスに片方のoptionが表示されるような仕組みの場合に、うまく取得ができません。

例えば・・・
https://data.j-league.or.jp/SFIX02/
このページはJリーグのデータサイトですが、デフォルトで開いた状態では、左のメニューを指定しないと、チーム選択ができないようになっています。

実現したいこと

上のJリーグの例でいうと、左側のメニューのいずれかを選択した状態の右オプションを取得したいと考えています。

どなたか、良い方法をご存知でしたら、ご教授ください。

よろしくおお願いいたします。

Answer 1

動的なページをrequestsを使った静的なアプローチでパースするのは「基本的には」難しいと思います。(できなくはないですがサイトのロジックを追っかけなければならないので骨が折れます。)

ので、seleniumを使用するアプローチに切り替えてはいかがでしょうか。

http://selenium-python.readthedocs.io

追記（スクレイピングはほどほどに）

from contextlib import closing
from operator import attrgetter
from pprint import pprint
from subprocess import DEVNULL
from subprocess import Popen
import time

from selenium import webdriver
from selenium.webdriver.common.keys import Keys


data = {}

try:
    server = Popen("chromedriver.exe", stdout=DEVNULL)
    with closing(webdriver.Chrome()) as driver:
        driver.implicitly_wait(10)
        driver.get("https://data.j-league.or.jp/SFIX02/")
        lbox = driver.find_element_by_id("pullDown")
        rbox = driver.find_element_by_id("teams")

        def iter_opt_texts(box, start=0):
            yield from map(
                attrgetter("text"),
                box.find_elements_by_tag_name("option")[start:],
            )

        for ltext in iter_opt_texts(lbox, 1):
            lbox.send_keys(Keys.ARROW_DOWN)
            time.sleep(1)
            data[ltext] = list(iter_opt_texts(rbox, 1))
finally:
    server.terminate()

pprint(data)

実行結果

{'Ｊ１リーグ': ['北海道コンサドーレ札幌',
           'ベガルタ仙台',
           '鹿島アントラーズ',
           '浦和レッズ',
           '大宮アルディージャ',
           '柏レイソル',
           'ＦＣ東京',
           '川崎フロンターレ',
           '横浜Ｆ・マリノス',
           'ヴァンフォーレ甲府',
           'アルビレックス新潟',
           '清水エスパルス',
           'ジュビロ磐田',
           'ガンバ大阪',
           'セレッソ大阪',
           'ヴィッセル神戸',
           'サンフレッチェ広島',
           'サガン鳥栖'],
 'Ｊ２リーグ': ['モンテディオ山形',
           '水戸ホーリーホック',
           'ザスパクサツ群馬',
           'ジェフユナイテッド千葉',
           '東京ヴェルディ',
           'ＦＣ町田ゼルビア',
           '横浜ＦＣ',
           '湘南ベルマーレ',
           '松本山雅ＦＣ',
           'ツエーゲン金沢',
           '名古屋グランパス',
           'ＦＣ岐阜',
           '京都サンガF.C.',
           'ファジアーノ岡山',
           'レノファ山口ＦＣ',
           'カマタマーレ讃岐',
           '徳島ヴォルティス',
           '愛媛ＦＣ',
           'アビスパ福岡',
           'Ｖ・ファーレン長崎',
           'ロアッソ熊本',
           '大分トリニータ'],
 'Ｊ３リーグ': ['グルージャ盛岡',
           'ブラウブリッツ秋田',
           '福島ユナイテッドＦＣ',
           '栃木ＳＣ',
           'Ｙ．Ｓ．Ｃ．Ｃ．横浜',
           'ＳＣ相模原',
           'ＡＣ長野パルセイロ',
           'カターレ富山',
           '藤枝ＭＹＦＣ',
           'アスルクラロ沼津',
           'ガイナーレ鳥取',
           'ギラヴァンツ北九州',
           '鹿児島ユナイテッドＦＣ',
           'ＦＣ琉球',
           'ＦＣ東京Ｕ－２３',
           'ガンバ大阪Ｕ－２３',
           'セレッソ大阪Ｕ－２３']}

Comments

[starrow1103]

ちょうどseleniumを検討していたところでした！

多くのサイトでphantomJSとの併用で紹介されているようですが、今回の場合seleniumと単体でできるのでしょうかね？
ちょっとやってみます。

[starrow1103]

実際のスクリプトまでご提示いただきありがとうございました！