もっと見るボタンがあるwebサイトのスクレイピングについて

Question

前提・実現したいこと

私は、webスクレイピングの勉強をしております。現在、https://prtimes.jp/main/html/searchbiscate/busi_cate_id/003/lv2/11　のサイトから、企業名を取得し、リスト化しようとしております。
このサイトは下にスクロールすると、’もっと見るボタン’があり、それをクリックするとさらにデータが表示されます。今回は練習として、15回程クリックして、そこに表示されたデータをリスト化しようとしております。

ブラウザを操作し、while文を用いて、’もっと見るボタン’をクリックすることはできるのですが、クリック後のデータがリスト化できません。（クリック前の直近40データはリスト化できます。）何が間違っているのかご教授いただけると幸いです。

■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

#ライブラリのimport
from bs4 import BeautifulSoup
import urllib.request as req
import pandas as pd
from selenium import webdriver
import chromedriver_binary
import datetime
from datetime import date
from datetime import timedelta
import time

#googlechromeを起動
browser = webdriver.Chrome()
#chromeドライバーが見つかるまでの待ち時間を設定
browser.implicitly_wait(3)

#ページサイトへアクセス

#urlの指定
url = 'https://prtimes.jp/main/html/searchbiscate/busi_cate_id/003/lv2/11'
#指定したurlへ遷移する
browser.get(url)

#urlへ遷移する前に下の処理に行かないための記述
time.sleep(3)

x = 1
while x <= 15:
    #クリックの動作を入力
    #find_element_by_idはhtmlのidの要素を指定して入力できる
    browser_from = browser.find_element_by_id('more-load-btn-view')
    time.sleep(3)
    browser_from.click()
    print('クリックしました')
    x = x + 1

#指定したウェブサイトのhtmlを取得する
response = req.urlopen(url)

parse_html = BeautifulSoup(response, 'html.parser')
parse_html


#aタグの一覧から複数のクラス名を[]で指定して取得する
found_lists = parse_html.find_all('article' ,class_= 'item item-ordinary')



found_articles = []

for article in found_lists:
    datetime = article.find('time', class_='time-release time-release-ordinary icon-time-release-svg')
    found_datetime = datetime['datetime']
    found_articles.append(found_datetime.split())
    found_company_a = article.find('a', class_='link-name-company name-company name-company-ordinary')
    found_company =found_company_a.text
    found_title_a =article.find('a', class_='link-title-item link-title-item-ordinary')





    article={
        'found_datetime':found_datetime.split(),
        'found_company':found_company_a.contents[0],
        'found_title':found_title_a.contents[0]
    }
    found_articles.append(article)
#-------------------------------------------------------------
print(found_articles)

試したこと

取得classの確認

補足情報（FW/ツールのバージョンなど）

Python 3.6.0 lxml4.6.2 pandas0.25.3 datetime
ここにより詳細な情報を記載してください。
変換したいデータを取得したホームページ https://prtimes.jp/main/html/searchbiscate/busi_cate_id/003/lv2/11 （注：これは、スクレイピングの練習のために、書いているコードなので、データ自体はなんでも構いません
ここにより詳細な情報を記載してください。

Answer 1

#指定したウェブサイトのhtmlを取得する
response = req.urlopen(url)

ボタンクリック後、この部分で「urllib.request」を使用してHTMLを再取得しているので、Ajax取得したHTMLが取れてません。urllibは静的なHTML取得にしか使えません。

以下のようにAjax後のレスポンスを待ってからSeleniumドライバからHTMLを取得したらどうでしょうか。

# ～ボタンクリック後

time.sleep(3)
parse_html = BeautifulSoup(browser.page_source, 'html.parser')

Comments

[taniisei]

回答ありがとうございます。
ご指摘通りにしたら、情報を取得できました。