スクレイピングのstart_urlsで存在しないURLが来たときの対処法

Question

###やりたいこと
スクレイピングを行う際、start_urlsを以下のコードで設定しています。スクレイピングするサイトはページ番号を変化させると次のページに飛べるという設計になっているため、そのページ番号の部分を変数にしています。（以下、最後の方のpg{0}の部分）

start_urls = ['https://tenshoku.mynavi.jp/engineer/list/p11+p12+p13+p14/o16+o17/e01/pg{0}/?soff=1&ags=0'.format(i+1) for i in range(2)]

しかし、別のサイトでページ番号が連番になっていないサイトに対しては上記と同じ手法を適用すると存在しないURLを生成してしまった段階でエラーとなってしまいます。
そこでURLがもし存在しなかったらパスする、のような分岐処理を導入したいのですが、どのように分岐させればよいのかがわからないです。
パッケージはScrapyを使っております。
素人質問で恐縮ですが、ご存知の方がいらっしゃいましたらご教示お願い致します。

Answer 1

PythonはEAFPな言語です。
以下のコードの意味を考えて、ご自身のコードに反映してください。

>>> d = {'page1' : 'foo', 'page3' : 'bar', 'page20' : 'baz'}
>>>
>>> for i in range(5):
...     try:
...         print(f'The {i}th word is ' + d['page{0}'.format(i+1)])
...     except:
...         pass
...
The 0th word is foo
The 2th word is bar

Answer 2

URLのページが存在するかどうかは、実際にアクセスしてみないと分かりませんので、アクセスしてみて例外が発生したかどうかで判断します。