[golang] flate.NewWriterDict で辞書を使った圧縮の挙動が予期しないものになる

Question

タイトルの通りなのですが
下記コードを実行したときの挙動が予想しているものと違うので
何が間違っているかの切り分けを助言していただけると助かります。

問題

1回目のflate処理は

compressed_1 : []byte{0xf2, 0x48, 0xcd, 0xc9, 0xc9, 0x7, 0x0}

であっているのに対して、二回目が

compressed_2 : []byte{0x2, 0x13, 0x0, 0x0}

となってしまい、辞書を使った圧縮後の予想としては

compressed_2 : []byte{0xf2, 0x0, 0x11, 0x0, 0x0}

です。

予想の根拠は下記からしています
https://tools.ietf.org/html/rfc7692#section-7.2.3.2

pythonの他の実装では上記の正しい結果で圧縮されることは確認しています
https://github.com/aaugustin/websockets

実行コード

package flate_dict

import (
	"bytes"
	"compress/flate"
	"fmt"
)

func compressWithDict(level int) {

	// compress
	src := []byte("Hello")

	// fmt.Printf("src : %#v\n", src)
	compressed := &bytes.Buffer{}
	compressor, _ := flate.NewWriter(compressed, level)
	compressor.Write(src)
	compressor.Flush()
	compressor.Close()

	dict := compressed.Bytes()
	// fmt.Printf("compressed : %#v\n", dict)
	dict = dict[:len(dict)-9]
	// compress([]byte("Hello"), compressed, flate.BestCompression)
	fmt.Printf("compressed_1 : %#v\n", dict)

	// compress
	dct := []byte{0x48, 0x65, 0x6c, 0x6c, 0x6f}
	src_2 := []byte("Hello")

	compressed_2 := &bytes.Buffer{}
	compressor_2, _ := flate.NewWriterDict(compressed_2, level, dct)
	compressor_2.Write(src_2)
	compressor_2.Flush()
	compressor_2.Close()

	dict_2 := compressed_2.Bytes()
	dict_2 = dict_2[:len(dict_2)-9]

	fmt.Printf("compressed_2 : %#v\n\n", dict_2)
}

debug用テストコード

package flate_dict

import "testing"

func Test_compressWithDict(t *testing.T) {
	tests := []struct {
		name  string
		level int
	}{
		{
			name:  "01",
			level: -2,
		},
		{
			name:  "02",
			level: -1,
		},
		{
			name:  "03",
			level: 0,
		},
		{
			name:  "04",
			level: 1,
		},
		{
			name:  "05",
			level: 2,
		},
		{
			name:  "06",
			level: 3,
		},
		{
			name:  "07",
			level: 4,
		},
		{
			name:  "08",
			level: 5,
		},
		{
			name:  "09",
			level: 6,
		},
		{
			name:  "10",
			level: 7,
		},
		{
			name:  "11",
			level: 8,
		},
		{
			name:  "12",
			level: 9,
		},
	}
	for _, tt := range tests {
		t.Run(tt.name, func(t *testing.T) {
			compressWithDict(tt.level)
		})
	}
}

Comments

[mattn]

既に解決されておられるなら回答を書いて解決済みにしておいて貰えますか。 https://stackoverflow.com/questions/48414288/the-compression-using-flate-newwriterdict-is-strange

Answer 1

私の仕様理解不足だったようで
一般に圧縮実装は同一出力を保証しているわけではないそうです。

要は、今回は可逆圧縮ができればよいということ。

それは@mattnさんが補足してくださったようにstack over flowで回答いただきました。
https://stackoverflow.com/questions/48414288/the-compression-using-flate-newwriterdict-is-strange