nginxをリバースプロキシとした時のアップロード高速化

Question

[1.ブラウザ] >>> [2.nginx(LB)] >>> [3.apache(WEB)] >>> [4.オブジェクトストレージ(REST API) 例:S3]

とあるWEBアプリで現在上記のような構成になっていますが、
ファイルをアップロードする場合は、2を経由した１から3のアップロード、3から4のアップロードで2倍時間がかかります。

技術的に1から4に直接もしくは、1から3の完了を待たずに4へのアップロードを開始することはできるのでしょうか？
手段は問いませんが、条件として2を経由することが必要(ドメインの都合)

よろしくお願いいたします。

Answer 1

[1.ブラウザ] >>> [2.nginx(LB)] >>> [3.apache(WEB)] >>> [4.オブジェクトストレージ(REST API) 例:S3]

技術的に1から4に直接もしくは、1から3の完了を待たずに4へのアップロードを開始することはできるのでしょうか？

1→4

技術的には可能ですが、クライアント側にオブジェクトストレージの認証情報を持たせないといけないのでこれの保護がやりにくく、あまりやらない構成です。

1から3の完了を待たずに4へのアップロード

技術的には可能ですが、実装上2つ問題があります。

• リバースプロキシが逐次転送を実現できるか
• アプリケーション側のサーバ、ミドルウェア、フレームワークがアップロードされたデータの逐次処理をサポートしているか

どうもnginxは一旦リクエストをすべてバッファリングする実装になっているようです。ひょっとしたら今はできるようになっているかもしれません。こういう実装だとどうしようもありません。

アプリケーション側も同様で、生でHTTPを扱う範囲では「受け取ったデータを逐次転送」することは可能ですが、フレームワークなどがサポートしていなければどうしようもありません。

他の手段

データの整合性をどれだけ担保しないといけないかにもよりますが、3→4の転送を非同期処理にしてしまえば利用者から見れば最初にアップロードするまでの時間で処理が完了したように見えます。

Comments

[退会済みユーザー]

ありがとうございます。
非同期処理を採用させていただきます。

Answer 2

どのようにアップロード処理が動いているのか分かりませんので、一般論ですが...

技術的には、サーバ(2)の 特定の URL に対して、リバースプロキシでサーバ(4)を直接指定することで、２のURLに対してアップロードがあった場合、４へ直接転送するのは可能だと思います。

既に稼動しているのであれば、２へのアップロードと４へのアップロードの手段が異なる場合は、いろいろ変更する必要があるかもしれません。

Comments

[suzukis]

nignxにはHTTPとS3互換APIとをプロキシするモジュールがあるのでしょうか。ドキュメントなどのポインタを教えてください