JavaScriptの表に対応したスクレイピング

Question

前提・実現したいこと

以下のサイトの"com-mod-table-data table"部分を全件取得したいのですが、All Holdings: 1 - 15 of 233とあるように
1ページから15件ずつしか取得できず、次のページに行くのもJavaScriptの部分の処理が対処できず困っています。
https://www.americanfunds.com/individual/investments/quarterlyholdings/anefx

発生している問題・エラーメッセージ

JavaScriptの表に対応したスクレイピングをどうすればいいのか分からない

該当のソースコード

#スクレイピング内容

import requests
import re
from bs4 import BeautifulSoup
from time import sleep

# アクセスするURL
url = "https://www.americanfunds.com/individual/investments/quarterlyholdings/anefx"

r = requests.get(url)

# 取得したい情報（15件のみ取得）
soup = BeautifulSoup(r.content)
for list in soup.find_all( class_=re.compile("com-mod-table-data table")):
    sleep(1)
    print(list.string)

試したこと

Selenium使うのかなと思いながらいじっているのですが、うまくいっていません。

補足情報（FW/ツールのバージョンなど）

Python 3.6
beautifulsoup4 4.6.0

ご教授のほどよろしくお願いいたします。

Comments

[tiitoi]

ajax で取ってきているようなので、selenium 使う必要がありますね

[A.Kobayashi]

ご指摘ありがとうございます。
一件目でも書いたのですが、Seleniumに慣れておらず、ajax??といった状態です。。。
どうすればいいかご教授いただけますと大変助かります。

Answer 1

selenium を使って次へボタンをクリックしながらテーブルの中身を取得していくなら、このような感じですかね。

import csv
import time
from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome(r'chromedriver.exe のパス')
driver.get('https://www.americanfunds.com/individual/investments/quarterlyholdings/anefx')

def next_page_exists():
    '''次のページボタンが存在するかどうか
    '''
    try:
        driver.find_element_by_css_selector('button.next-btn')
        return True
    except NoSuchElementException:
        return False

def table_to_list(table):
    '''テーブルの中身を2次元のリストで返す。
    '''
    data = []
    for tr in table.find_all('tr')[1:]:
        row = [td.text for td in tr.find_all('th')]
        data.append(row)
    return data

def click_next_button():
    '''次のページボタンをクリックする。
    '''
    driver.find_element_by_css_selector('button.next-btn').click()

data = []
i = 1
while next_page_exists():
    print('fetching page {}...'.format(i))
    soup = BeautifulSoup(driver.page_source, "lxml")
    table = soup.select_one('div.row table')
    data.extend(table_to_list(table))

    i += 1
    click_next_button()  # 次のページへ
    time.sleep(2)  # ajax のロード待機

# CSV 書き込み
header = ['Security Name',
          'Asset Type',
          'Shares',
          'Market Value',
          'Percent of Net Assets']
with open('output.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(header)
    writer.writerows(data)

Security Name,Asset Type,Shares,Market Value,Percent of Net Assets
"Netflix, Inc.",Equity,"2,495,000","$667,811,700.00",3.64%
Broadcom Inc.,Equity,"2,244,000","$570,604,320.00",3.11%
"Amazon.com, Inc.",Equity,"257,155","$386,239,095.00",2.1%
Tencent Holdings Ltd.,Equity,"9,488,200","$380,473,124.00",2.07%
"Samsung Electronics Co., Ltd.",Equity,"10,131,500","$349,951,249.00",1.91%
Galaxy Entertainment Group Ltd.,Equity,"54,684,000","$347,776,413.00",1.89%
"Micron Technology, Inc.",Equity,"9,260,800","$293,845,184.00",1.6%
AbbVie Inc.,Equity,"3,130,430","$288,594,342.00",1.57%
FED HM LN BK DISC NT 3/6/2019,Short Term,"282,000,000","$280,794,337.00",1.53%
"Alphabet Inc., Class C",Equity,"262,238","$271,576,295.00",1.48%
Kotak Mahindra Bank Ltd.,Equity,"13,957,882","$251,207,888.00",1.37%
U S TREASURY BILL 3/7/2019,Short Term,"250,000,000","$248,955,550.00",1.36%
"SK hynix, Inc.",Equity,"4,224,300","$229,442,351.00",1.25%
Novartis AG,Equity,"2,666,500","$227,787,715.00",1.24%
"Alphabet Inc., Class A",Equity,"204,995","$214,211,575.00",1.17%
Abbott Laboratories,Equity,"2,949,000","$213,301,170.00",1.16%
"Molina Healthcare, Inc.",Equity,"1,727,700","$200,793,294.00",1.09%
以下略

Comments

[A.Kobayashi]

ご回答ありがとうございます！
私の環境だと、from selenium.common.exceptions import NoSuchElementException
が必要な感じでしたが、無事取得することができました。
大変助かりました、本当にありがとうございました！

Answer 2

JavaScriptを実行する必要があるのなら、ブラウザを動かすSeleniumのようなライブラリを使う必要があります。

Comments

[A.Kobayashi]

ご指摘ありがとうございます。
私もそのように認識はしていて、Seleniumを用いて、サイト内の<button class="mybtn next-btn btn-next-record BLUE_ARROW_RIGHT_icon_16pxpng"></button>をクリックして次ページにいって情報を取得する？といったことは試そうとしているのですが、Selenium自体をこれまでいじったことがなく正直よくわかっていないのが現状です。
どうぞよろしくお願いいたします。