PHPのクローラーのタイムアウト時間について

Question

お世話になります。
現在curlを使い以下のクローリングのコードを書いています。

ネットワークの状況により、time of 30 seconds exceededが発生しました。

PHP処理のタイムアウト対策
タイムアウトの時間変更以外によい方法ありますでしょうか？

public function downloadAllFile($interval = 2)
{
    foreach ($this->tests as $test) {
        $data = $this->downloadFile($test);
        $this->saveFile($data, $test);
        sleep($interval);
    }
}

public function downloadFile($test)
{
    $url = $this->url . $test;
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_HTTPHEADER, $this->headers);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__) . "/tmp/cookie.txt");
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

Answer 1

タイムアウトの時間変更以外によい方法ありますでしょうか？

どうしたいのですか？と質問で返したくなります。

普通に考えれば、タイムアウト時間を延ばして取得できる可能性を増やしたいのか、下手に取得できないのであれば、タイムアウト時間を短くしてエラーとして処理し、さっさとプログラムを終了させる。

Comments

[matometaru]

ありがとうございます。

> タイムアウト時間を短くしてエラーとして処理し、さっさとプログラムを終了させる。
cronで実行する予定でして、エラー終了後の自動再開処理が思い浮かびませんでした。

もう少し考えてみたいと思います。