【Ruby】selenium実行中にNet::ReadTimeoutとなる

Question

前提・実現したいこと

seleniumでサイト調査をしておりまして、対象ページが5000ページくらいあり、
2~3秒に1度アクセスして情報取得を繰り返すようにしています。
途中でタイムアウトして止まってしまいます。
テスト用に少量ページで実行すると起こらないので再現度が低いです。

しかしながら途中で止まってしまうと困るので、安定した稼働をさせるために、
タイムアウトをしたら時間をおいて再度実行するような手順を書いた方がよいのではないか？
と思っています。

発生している問題

ページ数がたくさんなので、プログラム実行したまま放置してました。
今朝確認すると下記のようなエラーがでました。

C:/Ruby26-x64/lib/ruby/2.6.0/net/protocol.rb:217:in et:(closed)> (Net::ReadTimeout)

調査対象ページを20ページにしぼってプログラムを実行して何度かテストしていますが、
特に途中で止まるようなことがなかったので、長時間やることによって上記のようなエラーがでたのではないか？とおもいます。

該当のソースコード

csv_import_url.each do |url|
    driver.navigate.to(url) # この行でエラー(Net::ReadTimeout)が出て停止する
    ~ ここに処理 ~
end

試したこと

5000ページの回遊をすると、4時間くらいかかってしまうので、
コードがちゃんと実装されているかを確認する際には20件にしぼり、アプリケーションを実行しています。
件数をしぼって実行した時はとくにタイムアウトのエラーはでなかったので、
毎回再現できないので、どう検証するのがいいか悩んでます。

Answer 1

ループ文の中でtry-catchを使えばいいのではないでしょうか。
（rubyだと確かbegin-rescueだったはずです。）

tryの中でタイムアウトエラーが起こったら
catchに行くようにしてやり、
当該サイトがぽしゃってることをログにでも書き込んで、
次のサイトをスクレイピングしに行けばいいです。

Comments

[kaori_oka]

try-catch検索してみます！

[kaori_oka]

何度か実行繰り返して様子みてみます！

[kaori_oka]

ありがとうございましたbegin-rescueでタイムアウト時の処理をはさむことで安定して動作しています！