Webスクレイピングで次ページへのリンクがなくなったら繰り返し処理をやめるコードを書きたい

Question

前提・実現したいこと

プログラミング初心者です。Python3.6.4でWebスクレイピングの
コードを書いています。あるサイトで検索をし、該当する記事の
日付・タイトル・URLをすべて取得してCSVファイルに保存すると
いうものです。その際、複数ページにわたって検索結果が表示される
ため、「次へ」というテキストリンクが表示されている場合は
そのリンクをクリックして繰り返し処理を行い、「次へ」という
テキストリンクが消えた時に繰り返し処理をやめる処理を書こうと
しました。しかし、次のようなエラーメッセージが表示されて
停止してしまいます。

発生している問題・エラーメッセージ

NoSuchElementException   Traceback (most recent call last)

該当のソースコード

#サイトのトップページで検索キーワードを入力して
#該当記事を検索し、CSVファイルに保存するプログラム

from selenium import webdriver
import csv
import time

CHROME_PATH = "C:\xxxxxxxxxxx"
TARGET_URL = "https://xxxxxxxxxxx/"
driver = webdriver.Chrome(CHROME_PATH)
driver.get(TARGET_URL)

driver.find_element_by_class_name("searchInput").send_keys("xxxxxxxxxxx")
driver.find_element_by_class_name("searchButton").click()
driver.find_element_by_xpath('//a[contains(text(), "xxxxx")]').click()

csvw = csv.writer(open("output.csv", "w", encoding = "utf-8", newline = "\n"), delimiter = "\t")

ydate = []
ytitle = []
yurl = []

c1 = 1
while(True): #この部分でエラーが発生しています
    elem = driver.find_elements_by_xpath('//div[@class="xxxxxxxxxxx"]')
    for e in elem:
        ydate.append(e.find_element_by_class_name("d").text)
        ytitle.append(e.find_element_by_class_name("t").text)
        yurl.append(e.find_element_by_tag_name("a").get_attribute("href"))
    nextpage = driver.find_element_by_xpath('//span[contains(text(), "次へ")]')
    if nextpage == False:
        break
    else:
        nextpage.click()
        c1 += 1

csvw.writerow([ydate, ytitle, yurl])

試したこと

while文内にtry-exceptでNoSuchElementExceptionが発生した場合は
continueする、という処理を書きました。しかし、やはり同じエラーが
出てしまいます。

「次へ」というテキストリンクが取得できない場合（while文内のnextpage
変数にxpathで取得した要素を代入している部分で中身が何も取得できない場合）、
if-else文もしくはexcept文の処理に移る前にエラーが出てしまうため、こうした
記述には意味がないんだろうな……とはぼんやり理解できているのですが、
正しい処理をどう書けばいいのかわからないという状態です。
ご教示よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

Windows10マシン、ChromeでJupyterNotebookを使っています。

Answer 1

こんにちは。もう解決されましたでしょうか。私も
同じことをしておりまして、エラーなく実行できましたので、ご参考になればと思いました。

    try:
        driver.find_element_by_xpath('PATH').click()
    except:
        break

以下の箇所を、上記に変更して試してみてください。

    nextpage = driver.find_element_by_xpath('//span[contains(text(), "次へ")]')
    if nextpage == False:
        break
    else:
        nextpage.click()

Answer 2

if nextpage == False:
        break

ではなく

if nextpage is None:
        break

ではないでしょうか。

Comments

[退会済みユーザー]

t_obaraさま、ありがとうございます！　該当箇所を教えていただいた
とおり、修正してみました。しかし、同じくNoSuchElementExceptionと
いうエラーが出てしまいます。エラーメッセージを読むと、引っかかって
いるのはその上の
nextpage = driver.find_element_by_xpath('//span[contains(text(), "次へ")]')
という部分のようです。ここをどう書き直したものでしょうか。
お手すきのタイミングでアドバイスをいただけましたら、とても
うれしいです。

[t_obara]

NoSuchElementException は例外ですよね、例外をキャッチするコードはどのようにしていますか？
例外処理が嫌な場合、find_elements_by_xpathが良さそうです。
http://thinkami.hatenablog.com/entry/2017/11/01/080310