curl_multi の接続上限設定

Question

リンク切れチェックスクリプトを curl_multi で作りなおしているのですが、うまく使えておらず質問します。

現在使用しているスクリプトは、curlで作っており、http code を拾い、それを評価し、必要であれば中身も入手し、リンク切れを確認しています。

このスクリプトを、大量URL対応版にしたいと思い改変しているのですが、curl_multi の使い方がよく理解できず、アドバイスいただければと思います。

挙動を全部追えていないのですが、curl_multi の CURLOPT_URL に相当数の URL を突っ込むと、動きがおかしくなります。
手持ちのサーバでやると2件目以降ステータス499を返してしまって、よくわからない状況ですが、100件程度であればリクエストを同時に投げているようですが、10000件になるとリクエストを投げていないようです。
実はリクエストは全部同時ではなくて、ある程度数量で上限が決まっていて、勝手に順次アクセスとなるのではないかと思ってましたが、そうではなかったようです。

実現したいのは、同時接続数を制限して、順次アクセスさせたいのですが、CURLOPT にそれらしき項目が見つかりませんでした。

スクリプト側で制限する方法として、一旦10程度のURLを切り出し、それらが全部終了すると次の10件に取り掛かるといった対応を考えていますが、できれば、切れ目なくアクセスさせたいです。

実装方法に関して、ヒントがあれば教えていただけないでしょうか？

よろしくお願いします。

Answer 1

curl_multiの扱い面倒くさいですよね．接続数上限を設けようとすると，以下のように書くしかないです．

<?php

/**
 * @param array $curls cURLリソースの配列
 * @param int $limit 接続上限
 * @return array $curlsの要素値をエラーコードに入れ替えたもの
 *               コンテンツはcurl_multi_getcontentで取得可能
 *               エラー内容はcurl_errorで取得可能
 *               但しcurl_errnoは使えないため，この返り値は重要となる
 */
function parallel_curl_exec(array $curls, $limit = 10)
{
    $mh = curl_multi_init();
    $queue = []; // キュー
    $errors = array_fill_keys(array_keys($curls), null); // 順番が揃うように最初にキーを埋めておく
    $count = 0; // 現在稼働中のリクエスト数
    
    // 出来る限りリクエストをプールに追加し，オーバーしたぶんはキューに入れる
    foreach ($curls as $i => $ch) {
        if ($count < $limit) {
            if (CURLM_OK === curl_multi_add_handle($mh, $ch)) {
                ++$count;
            }
        } else {
            $queue[] = $ch;
        }
    }
    
    // リクエスト実行開始
    curl_multi_exec($mh, $active);
    
    do {
        
        // 最大0.5秒間の間監視し，結果をプールに反映する
        curl_multi_select($mh, 0.5);
        curl_multi_exec($mh, $active);
        
        // 一度すべての結果を取り出す
        // このときにエラーコードの配列を埋めておく
        // (ここでプールから除去もしてしまうとエラーになるので注意！一旦すべて取り出す必要がある)
        $entries = [];
        do if ($entry = curl_multi_info_read($mh, $remains)) {
            $errors[array_search($entry['handle'], $curls)] = $entry['result'];
            $entries[] = $entry;
        } while ($remains);
        
        // 取り出された数だけリクエストをプールから除去し，キューからまだのぶんを追加する
        foreach ($entries as $entry) {
            curl_multi_remove_handle($mh, $entry['handle']);
            --$count;
            if ($ch = array_shift($queue) and CURLM_OK === curl_multi_add_handle($mh, $ch)) {
                ++$count;
            }
        }
        
    } while ($count > 0 || $queue); // 稼働中のリクエストとキューが無くなるまでループする
    
    assert($active === 0); // これは必ず成立する
    
    return $errors;
}

ホントいうと，1つリクエストが終わるごとに直ちに確認処理をすべきところなのですが，あまりにもコードが複雑になるので設計面は妥協しています．

一応,mpyw/Coというものを作ったことがあるのですが，ソースが汚すぎるのとバグだらけなのがあって，まともにまだ使えないですね…

Comments

[退会済みユーザー]

いつも色々参考にしてます！回答ありがとうございます。
multi_remove_handle、curl_multi_add_handle して、再度、curl_multi_exec すればよかったのですね。
まだちゃんと動かせていないので、取り急ぎお礼まで。

[退会済みユーザー]

試してみているのですが、ちょっとうまくいっていません。

CURLM_OK === curl_multi_add_handle($mh, $ch)
の判定がうまく動作せず、
var_dump(curl_multi_add_handle($mh, $ch))；
を確認したところ、NULLが返ってました。

ドキュメントを見る限り、curl_multi_add_handle の返り値は、0かCURLM_XXXを取るようなのですが、NULLが返ってる理由が分かりませんでした。

なにか切り分けのポイント、あったりしますか？

$curls に10個ほど同じURLを入れて実験しています。
よろしくお願いします。

[mpyw]

汎用性を高くするため，$curls に渡るのはURLの文字列ではなくcURLリソースを想定しています…（ちょっと微妙な設計だったかな…）

$curls = [];
foreach ($urls as $i => $url) {
    $ch = curl_init();
    curl_setopt_array($ch, [
        CURLOPT_URL => $url,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_ENCODING => 'gzip',
    ]);
    $curls[$i] = $ch;
}
$errors = parallel_curl_exec($curls, 10);
foreach ($errors as $i => $error) {
// ここで $error が CURLE_OK ならTCPレベルの通信は成功している
// HTTPステータスは curl_getinfo($curls[$i], CURLINFO_EFFECTIVE_CODE) 
// コンテンツは curl_multi_getcontent($curls[$i])
}

使いづらいようでしたら，使いやすいように組み替えてみてください．ただ，curl_errno関数で後からエラーコードを取得することはできない，ということだけご注意ください．（curl_getinfo関数は使えます）

[退会済みユーザー]

無事動作しました！ありがとうございます。
非常に快適です。

話が横にそれてしまうのですが、cURLリソースを投入した結果
var_dump(curl_multi_add_handle($mh, $ch))；
は、0となっており、マニュアル通りなのですが

CURLM_OK === curl_multi_add_handle($mh, $ch)
が TURE になるのは、なぜですか？

もし時間があれば、追加で教えていただけると嬉しいです。

[mpyw]

CURLM_OKはゼロを表す定数ですね…

var_dump(CURLM_OK); // int(0)

[退会済みユーザー]

そうなんですね＾＾；
勉強になりました。
中身確認してみれば良かった。
お手数をお掛けしました。

色々ありがとうございます！

Answer 2

mpyw/coがひとまず完成したので宣伝も兼ねて再回答させていただきます．

function curl_init_with($url, array $options = [CURLOPT_RETURNTRANSFER => true])
{
    $ch = curl_init($url);
    curl_setopt_array($ch, $options);
    return $ch;
}
function get_xpath_async($url)
{
    $dom = new \DOMDocument;
    @$dom->loadHTML(yield curl_init_with($url));
    return new \DOMXPath($dom);
}

var_dump(Co::wait([

    'Delay 5 secs' => function () {
        echo "[Delay] I start to have a pseudo-sleep in this coroutine for about 5 secs\n";
        for ($i = 0; $i < 5; ++$i) {
            yield Co::DELAY => 1;
            if ($i < 4) {
                printf("[Delay] %s\n", str_repeat('.', $i + 1));
            }
        }
        echo "[Delay] Done!\n";
    },

    "google.com HTML" => curl_init_with("https://google.com"),

    "Content-Length of github.com" => function () {
        echo "[GitHub] I start to request for github.com to calculate Content-Length\n";
        $content = yield curl_init_with("https://github.com");
        echo "[GitHub] Done! Now I calculate length of contents\n";
        return strlen($content);
    },

    "Save mpyw's Gravatar Image URL to local" => function () {
        echo "[Gravatar] I start to request for github.com to get Gravatar URL\n";
        $src = (yield get_xpath_async('https://github.com/mpyw'))
                 ->evaluate('string(//img[contains(@class,"avatar")]/@src)');
        echo "[Gravatar] Done! Now I download its data\n";
        yield curl_init_with($src, [CURLOPT_FILE => fopen('/tmp/mpyw.png', 'w')]);
        echo "[Gravatar] Done! Saved as /tmp/mpyw.png\n";
    }

]));

こんなに複雑なフローでも，ジェネレータのyield句を活用して効率よく処理できます．

[Delay] I start to have a pseudo-sleep in this coroutine for about 5 secs
[GitHub] I start to request for github.com to calculate Content-Length
[Gravatar] I start to request for github.com to get Gravatar URL
[Delay] .
[Delay] ..
[GitHub] Done! Now I calculate length of contents
[Gravatar] Done! Now I download its data
[Delay] ...
[Gravatar] Done! Saved as /tmp/mpyw.png
[Delay] ....
[Delay] Done!
array(4) {
  ["Delay 5 secs"]=>
  NULL
  ["google.com HTML"]=>
  string(262) "<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>302 Moved</TITLE></HEAD><BODY>
<H1>302 Moved</H1>
The document has moved
<A HREF="https://www.google.co.jp/?gfe_rd=cr&amp;ei=XXXXXX">here</A>.
</BODY></HTML>
"
  ["Content-Length of github.com"]=>
  int(25534)
  ["Save mpyw's Gravatar Image URL to local"]=>
  NULL
}

ある処理の待ち時間の間に別の処理が積極的に割り込んでいるのに注目です．しかも1プロセス・1スレッドしか使わないので無駄がありません．スクレイピングでは負荷を考慮し，相手サーバごとにスリープをかけたい場合もあると思うので，コルーチンごとに擬似的なスリープを行えるようにもしています．

Comments

[退会済みユーザー]

> テスト100%通りました！
Qiitaの記事で読みましたｗ
今まで、curl_multi で実装しようとも思わなかった処理が、割り当てられそうです。
この質問の処理は、単純なモノだったので、次に構想しているアプリで試してみます。
また詰まったら、相談させてもらいます。
ありがとうございます。