Python Selenium で動的に表示するサイトの取得

前提・実現したいこと

Javascriptで動的にページ下部が読み込まれるサイトの取得がしたいです。

参考URL
https://www.qoo10.jp/cat/100000001

発生している問題・エラーメッセージ

画面のキャプチャを行ったところ、ページ下部に「もっと見る」のボタンが表示されるのですが
要素をクリックしても次の画面を取得することが出来ません。

試したこと

ページ読み込み初期に画面を最大まで広げています。
その後キャプチャをすると「もっと見る」の要素が表示されます。

w = driver.execute_script('return document.body.scrollWidth')
h = driver.execute_script('return document.body.scrollHeight')
driver.set_window_size(w, h)

その後、クリックするのですが続きが表示されません。

driver.find_element_by_xpath('//*[@id="btn_more_item"]').click()

ご存じの方ご教授頂けますと助かります。

meg_

2020/12/18 11:23

> 参考URL https://www.qoo10.jp/cat/100000001 目的のサイトは会員規約によるとスクレイピングが禁止されているようです。 > 利用者が次の各号に掲げる行為を行うことは禁止されています。 > 9. 弊社サーバ、コンピュータに無断でアクセスする行為（ロボット、スパイダー、スクレイパー、データ・マイニング・ツール、データの収集及び抽出ツール、その他目的の如何を問わず本サービスにアクセスする自動化された手段を含み、これに限られません。） > 6. 利用者：　Qoo10プラットフォームにアクセスし、これを利用し、及び／またはQoo10プラットフォームにおいて取引を行う個人または法人をいい、会員を含みます。 https://www.qoo10.jp/gmkt.inc/Company/UserAgreement.aspx