レスポンス文字列の圧縮効果について

Question

PHPにおけるレスポンスの圧縮効果について検証しています。
約10,000バイトのJSON文字列（キー以外は英数のランダム生成）を効果的に圧縮する方法を
検討しているのですが、PHP標準の方法を使ったところどれも効果が見られませんでした。
※正確には圧縮は効いているのですが、Base64エンコードすると効果がなくなります。

$base_text = (strlen()が10,000を超えるまでランダム生成)
$obj = [
    "abc" => $base_text,
];

$json = json_encode($obj, JSON_UNESCAPED_UNICODE); // strlen($json) = 約10,000
$comped = gzencode($json, 9); // strlen($comped) = 約7,500
$b64 = base64_encode($comped); // strlen($b64) = 約10,000 strlen($json)を超えるケースもあり。

return $b64; // レスポンス

gzdeflate()
gzcompress()
を利用したケースもほぼ同値でした。

同文字列の出にくいJSON文字列は圧縮レスポンスに向かないのでしょうか。

Answer 1

約10,000バイトのJSON文字列（キー以外は英数のランダム生成）

データ圧縮というものが本質的に「データに含まれる規則性」を使って行われる以上、ランダムなデータに対して圧縮はほとんど効きません。

実際に流すデータで検証した方がいいでしょう。

Answer 2

WebサーバーがApacheならmod_deflateでレスポンスをgzipにした方がましだと思います。

https://httpd.apache.org/docs/2.4/ja/mod/mod_deflate.html
https://httpd.apache.org/docs/2.2/ja/mod/mod_deflate.html

※正確には圧縮は効いているのですが、Base64エンコードすると効果がなくなります。

圧縮してもBASE64エンコードすると圧縮後のサイズから約1.3倍になります

(ja.wikipedia.org)BASE64

この変換によって、データ量は4/3（約133%）になる[1]。また、MIMEの基準では76文字ごとに改行コードが入るため、この分の2バイトを計算に入れるとデータ量は約137%となる[2]。

Comments

[Clor]

ありがとうございます。
mod_deflateを設定することで100kBのランダム文字列でも75%まで圧縮が可能になりました。

Answer 3

Base64エンコードというのは、非文字データ(バイナリ―データ）を含むデータを変革英数の文字列(メール等で送ることが出来る)に変換するものです。

Base64の64は、６ビットで表現できる６４種類の値(0x00 ～ 0x3F)を６４種類の文字に割り当てる事に由来しています。
１つの文字(８ビット）で、６ビット分の情報しか送れませんから、Base64でエンコードするとデータサイズは３３％ほど増加します。このデータ量の増加が、圧縮の効果を帳消しにしているものと思われます。

圧縮してBase64エンコードした場合と、JSON文字列をそのまま使う場合とを比較して、データ量が少なる方法を選ぶのが現実的ではないでしょうか。

Answer 4

JSON で使える文字列は UTF-8 であることが求められていますから（正確には UTF-8, UTF-16, UTF-32 のいずれかだが、UTF-8 以外は環境によっては非対応）、UTF-8 で表現できないバイナリデータに限り、Base64 エンコードしたほうがいいです。

それはともかく、あとは Y.H さんも書かれていますが、Web サーバの方でレスポンスを圧縮して送信する設定をするのが透過的でよいかと思います。