スクレイピングで値が取得できたり出来なかったりする。

前提・実現したいこと

python3 + selenium + beautiful soup4 でスクレイピングをしようとしているのですが
下記のリンク先のサイトのリスト部分が、取得出来たり出来なかったりします。
HTMLソースコードそのものは取得出来ています。

取得先のページ↓
https://www.mas.gov.sg/news

画像右側の青くなっている部分（画像左側のコードではUlタグの内部）を取得したいのですが

何度か実行すると、時々以下のエラーメッセージが発生して取得する事ができない時があります。
Traceback (most recent call last):
File "/Users/user/Desktop/projects/scraping/mas.py", line 32, in <module>
ul = state_list.find('ul',class_='mas-search-page__results-list')
AttributeError: 'NoneType' object has no attribute 'find'

取得出来た時は、取得した内容がprint文で出力されます
date= 08 October 2019
date= 07 October 2019
date= 07 October 2019
date= 02 October 2019
date= 30 September 2019
date= 30 September 2019
date= 27 September 2019
date= 27 September 2019
date= 27 September 2019
date= 26 September 2019

発生している問題・エラーメッセージ

エラーの時に取得しているHTMLコードをprint文で出力すると
値が取得出来なかった時は、ulタグに囲まれた部分が、丸ごと別のコードに置き換わっており
そもそもulタグが無いから取得出来ないようです。

該当のソースコード

実行↓スクレイピングのコードです。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#import chromedriver_binary
from bs4 import BeautifulSoup

# ブラウザーを起動
options = Options()
options.add_argument('--headless')
# Chromeのドライバを得る
driver = webdriver.Chrome(chrome_options=options)

url = "https://www.mas.gov.sg/news"

# URLを読み込む
driver.get(url)
# 暗黙的な待機
driver.implicitly_wait(10)

# htmlを取得
html = driver.page_source

# HTMLを解析する
soup = BeautifulSoup(html, "lxml")  #"html.parser"
main = soup.find('div',id="mas-search-page")
ul = main.find('ul',class_='mas-search-page__results-list')

for li in ul.find_all('li',class_='mas-search-page__result'):
    
    # date
    date = li.find('div',class_='mas-ancillaries').text.split(':')[1]
    print('date=',date)
    # titele
    title = li.find('div',class_='ola-field-title').find('a').text.strip()

    # link
    link = "https://www.mas.gov.sg" + str(li.find('div',class_='ola-field-title').a.get('href'))

    # desc
    desc = li.find('div',class_='mas-search-card__body').text.strip()

# ブラウザを終了
driver.quit()

試したこと

URLを取得する時に、待機を入れて
読み込みが完了するのを待ってみたのですが、結果は変わりませんでした。
どうして、実行の度にulタグの部分が有ったり無くなったりするのでしょうか？
それに対して、有効な対策はありますでしょうか。ご教示お願いいたします。

補足情報（FW/ツールのバージョンなど）

python3 + selenium + beautiful soup4

ここにより詳細な情報を記載してください。
上記の質問のものはmacで行った結果ですが、windowsでも同じくulタグが有ったり無かったりして
安定して取得出来ない状況です。

どうぞよろしくお願いいたします。

CHERRY

2019/10/09 12:16

ページの内容を JavaScript で取得・生成しているのだと思いますが、JavaScript の実行でエラーが発生していたりしないでしょうか？

sagme

2019/10/09 15:33

ご質問ありがとうございます。すみません、当方あまり詳しくないため JavaScriptの実行エラーが出ているかどうかの確認の仕方が分からないのですがどのように確認すればよいでしょうか？ご教示お願いいたします。

行動規範の内容に同意します

回答1件

ベストアンサー

レンダリングとスクレイピングがレースしているようですね。

二つのやり方を思いつきます。

必要な要素が準備できるまで待機する

(こんなことしなくても、beautifulSoupで要素をとるんじゃなくて、WebDriverからとるようにすれば待ってくれるんじゃないかなぁ)

ajax応答を横取りする。WebブラウザのF12開発者ツールのNetworkタブを見ると、ニュースはこっちから取ってるようなので、これを JSON.loadsでほどく。

https://www.mas.gov.sg/api/v1/search?json.nl=map&indent=on&q=*:*&start=0&fq=mas_mastercontenttype_s:"News"&sort=mas_date_tdt%20desc

投稿2019/10/15 07:20

matobaa

総合スコア2493

sagme

2019/11/04 03:03

返信がすっかり遅くなってしまいましたが、下記を確認しました。頂いた回答のうち、 1) 必要な要素が準備できるまで待機するについて WebDriverWait(driver, 15).until(EC.presence_of_all_elements_located) を使う方法は効果がありませんでした。 driver.implicitly_wait(10) # 秒 targetElement = driver.find_element_by_id("ID名") については、十分な待機時間をとった上で、要素を探しに行く（classでもいい）と HTMLソースコードが展開されて、要素を取得することができました。 2) ajax応答を横取りする。については、調べたのですがやり方がよくわかりませんでした。もう少し具体的にご教示頂ければ、なおありがたいです。

行動規範の内容に同意します