Python BeautifulSoupを使ってカスタムデータ属性を取得する方法を知りたい

Question

▼現状

現在、Python、BeautifulSoup、seleniumを使用してスクレイピングを行おうとしております。（ブラウザはChromeです）
ページ単体のスクレイピングは成功したのですが、ページ遷移を連続して行い、すべてのページからデータを取得しようと考えています。

###▼スクレイピング対象ページの使用
①ページ下部に、1,2,3,4,5,次のページ、最後のページボタンが存在し、ユーザはこれらのボタンクリックによりページ遷移を行う
②最後のページボタンには「data-page」データが格納されており、ここに全ページ数が記述されている

###▼現在試したコード
soup = BeautifulSoup(requests.get(URL).content,'lxml')

lastPages = soup.find(class_="pageLast") //最後のページボタンのクラスから、要素を取得
print(lastPages['data-page']) 　　　　　　//data-pageに格納されたページ数を表示

###▼エラーコード
TypeError: 'NoneType' object is not subscriptable

###▼依頼
カスタムデータ属性を取得し取得したページ数分for文を回す。
⇨すべてのページで「次のページ」ボタンをクリックさせることで全ページスクレイピングしようと考えています。
もし他の方法で効率よくスクレイピングできる方法があれば、そちらも併せて教えて欲しいです。

Answer 1

class_="pageLast"に該当するノードが無かったのでlastPagesがNoneになっています。

・指定が間違っている
・JavaScriptで動的に追加した要素である
・フレームの中の要素である
など。

JavaScriptで動的に追加した要素である場合は、Selenium等を使う必要があります。

Comments

[kk.k]

class_="pageLast"がJavaScriptで動的に追加した要素だったようでした！
ありがとうございます！！