HTTP/1.1 Pipelining の現在

Question

疑問

• HTTP/1.1のパイプラインって今は使われてないの？

Webブラウザで全く使われていないのは知っていたけどWebサーバも対応やめたの？

• Webブラウザで使うとゴミになるけどバッチ処理では優秀じゃなかったの？

詳細

以下の記事では，HTTP/1.1パイプラインをPHPから試しています．

• PHP5.5で強化されたcURL拡張でHTTP Pipeliningを試す

ところが，自分でいろいろなサーバ相手に試してみましたが，どのサーバも

Server doesn't support multi-use (yet)

という結果となりました．自分のlibcurlのバージョンも疑ったのですが，「相手サーバが対応していない」という旨のログなので全く関係ないと思います．

実際にHTTP/1.1のパイプラインが稼働するサーバをご存知の方，教えてください．私の環境がおかしい場合，疑うべき場所を教えてください．

検証に使ったコード

<?php

require 'vendor/autoload.php';

// https://github.com/mpyw/co
use mpyw\Co\Co;

$urls = [
    'https://teratail.com/',
    'https://github.com/',
    'http://www.yahoo.co.jp/',
    'https://google.co.jp/',
    'https://twitter.com/',
    'https://api.twitter.com/',
];

foreach ($urls as $url) {
    echo "\n\n---------------------\n\nTrying $url...\n\n";
    Co::wait(curls($url, 5), ['pipeline' => true, 'concurrency' => 0]); // 並列化数0で無制限
}

function curls($url, $n)
{
    $handles = [];
    for ($i = 0; $i < $n; ++$i) {
        $ch = curl_init();
        curl_setopt_array($ch, [
            CURLOPT_URL => $url,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_VERBOSE => true,
        ]);
        $handles[] = $ch;
    }
    return $handles;
}

Answer 1

いろいろと知見を得たのでメモしておきます…

• CURLOPT_MAXCONNECTS / CURLMOPT_MAXCONNECTS / CURLMOPT_MAX_TOTAL_CONNECTIONS の違い - Qiita

Answer 2

原因わかりました！ Co::wait() のコールごとにcurl_multiリソースを初期化しているのですが，この実装がまずかったようです．そのため，

<?php

require 'vendor/autoload.php';

use mpyw\Co\Co;

function curls($url, $n)
{
    $handles = [];
    for ($i = 0; $i < $n; ++$i) {
        $ch = curl_init();
        curl_setopt_array($ch, [
            CURLOPT_URL => $url,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_VERBOSE => true,
            CURLOPT_HTTPHEADER => ['Connection: keep-alive'],
        ]);
        $handles[] = $ch;
    }
    return $handles;
}

Co::wait(function () {
    for ($i = 0; $i < 2; ++$i) {
        echo "\n\n---------------------\n\n Trying... ($i) \n\n";
        yield curls('http://example.com/', 3);
    }
}, ['pipeline' => true, 'concurrency' => 0]);

このような書き方に変えると，２回目以降のforループでは正常にパイプライン化が行われました．「PHPエクステンションだからキャッシュ管理はもっと低レベルなところでやっているだろう」と勝手に思い込んでいたのですが，意外にもcurl_multiリソースとしてしか保持されないという結果でした．

皆様大変お騒がせしました…

Comments

[mpyw]

せっかくなので少し実装いじっておきます…とほほ

Answer 3

回答以来をいただいて大変光栄なのですが、知識に欠ける部分なので、リンクされた記事内容と検証コードについて不思議なことのみ回答します。

記事には

まず、別のサーバーに対してリクエストするのであれば役に立ちません。Pipeliningは同一サーバーへのリクエストをまとめるものだからです。Twitter APIとFacebook APIを同時に叩くためにPipeliningは使えません。

とありますが、

$urls = [
    'https://teratail.com/',
    'https://github.com/',
    'http://www.yahoo.co.jp/',
    'https://google.co.jp/',
    'https://twitter.com/',
    'https://api.twitter.com/',
];

と、それぞれ別のサーバにアクセスしているように見えます。
見当外れでしたらすいません。

---

ソースも確認しましたがCは教本を眺めたくらいなので「何らかの定数と比較している」というくらいしか追えず……。

【curl/url.c at master · curl/curl · GitHub】
https://github.com/curl/curl/blob/master/lib/url.c#L3230

【curl/conncache.h at master · curl/curl · GitHub】
https://github.com/curl/curl/blob/master/lib/conncache.h#L34

お役に立てないようです、すいません。

Comments

[mpyw]

回答ありがとうございます．このコードの趣旨は「5つのHTTPセッションを生成したときそれが1本のTCPコネクション内でパイプライン化されるか」というところにあり，それを異なる複数のサイトに対してためしているところです．

やっぱりlibcurlのソース読むしか無いですかね…うーむ

[mpyw]

どうやらKeep-Aliveであることが前提みたいで，接続直後には使えないことになっているそうです．そのため，配列の中に全く同じホストを入れてみて，2回目以降は成功するかなと思って試してみたんですが…ダメでしたorz

[kei344]

Guzzle などの実装は参考になりませんか？

【PHPでHTTPの並行ダウンロードを実現する（Guzzle編） - hnwの日記】
http://d.hatena.ne.jp/hnw/20140824

[mpyw]

はい，Guzzleの存在は把握してます．

（Guzzleのオブジェクトでラップされた重厚感はまだいいとして，個人的にジェネレータのコルーチンとしての特性があまり活かせていない点で強い不満があったので，生cURLに特化およびジェネレータを完全なコルーチンとして扱えるようにしたライブラリが，例示したコードに含まれる mpyw/co になります…）

それはさておき…パイプライン化の部分は完全にlibcurlに隠蔽されていて，PHP側からどうこう手出しできそうにないですね．libcurlのコードを読んでいたら「CURLMOPT_PIPELINING_SITE_BL」というパイプライン化を禁止するブラックリストのオプションは見つけたのですが，これはまだPHP側には実装されていないオプションです．ブラックリストなんて設定していないので，どこかで BUNDLE_PIPELINING が設定されているはずだ，として探してみると

https://github.com/curl/curl/blob/master/lib/http.c#L3424

ここは見つけました．このコードが実行される条件は

・!k->headerline++ が真である
・ncの値が3である (リクエスト1行目のパースに成功している)
・HTTPバージョンが1.1である
・Connection: close でない

となるんですが，1つ目の意味がまだ把握できておりません…

[mpyw]

バンドルの管理はどうやらcurl_multiリソース単位であって，新しいリソースを作ってしまうとキャッシュが全部消滅してしまうようです！ここがミソでした…

Answer 4

ちなみに、Apacheなど通常のWebサーバー単位では、すでにこの技術に対応している。設定変更などは不要である。むしろ問題はリクナビNEXTなど、高負荷で複数のサーバーから構成されているWebサイトが全体としてこれをサポートしているかだろう。

参照：404 Blog Notfound

とあるので ソースからインストールした apache はデフォルトで有効の模様（つまり自作）

Comments

[mpyw]

回答ありがとうございます．2006年の記事ですね．HTTPの並列化で探してみても，新しいものはだいたいHTTP/2絡みであって，HTTP/1.1について言及している最近の記事がほとんど見つからないんですよね…

[mpyw]

HTTP/1.1サーバはパイプラインの実装が強制（MUST）されているみたいなので，Keep-Aliveセッションであることを確認した後にパイプライン化を拒否するサーバはHTTP/1.1に準拠していないことになります．こんなにたくさんのサーバが非準拠であるとは考えにくいので，自分が何か勘違いしているんだと思いますが…どこが悪いのかまだわからないです…

[mpyw]

自己解決しました，お騒がせしました…