Webサイトのスクレイピング

Question

Pythonを使いスクレイピングをしています。
大体の感じとしては
/ pythonからブラウザを操作(selenium)
/ bs4でスクレイピング
としていますが、
webサイトでよくある次のページに進む為にあるボタンがよくわかりません。
ボタンの中の要素は下のようになっています。
これはどういう意味でしょうか。
javascriptに理解がなく困っています。
次のページへ行くためにこのボタンを押す必要があるのですが、どうすればいいでしょうか。

javascript:productListPageAssist(2);
![

Answer 1

まず、<a>に href="javascript:productListPageAssist(2);" のように指定してある場合についてですが、これはこのリンクがクリックされた際にこのjavascriptコードを実行する、という意味です。
リンクがクリックされた際に単に別のページへ移動するのではなく、何かの前処理が必要、というような場合によく用いられる手法です。

本題に戻りますが、selenium でのテストということなので、適当なロケータを指定してこの <a> オブジェクトを取得し、.click() してあげればよいのだと思います。例えば、下記のような感じで。

a = driver.find_element_by_link_text('2')
a.click()

ご参考になれば。

Answer 2

コード編集が難しいなら、スクレイピングツールを試しますか？
ソフトウェア型スクレイピングツール5選
https://jp.scrapestorm.com/tutorial/web-scraping-5-software-scraping-tools/