Pngファイルの保存した結果がpython(opencv-python)とC++(libpng)で異なる

Question

前提

opencv-pythonで①Png画像を読み込み、②ピクセル出力した結果および③保存したPng画像と、
C++ とlibpngで①Png画像を読み込み、④ピクセル出力した結果および⑤保存したPng画像では、
②と④はすべて同じ結果になりますが、③と⑤をバイナリで比較するとヘッダーは同じでしたが、IDATのデータ部分が異なる結果になりました。

環境：
python 3.10
opencv-python 4.6.0.66
C++17
libpng 1.6.37

Png画像：
ビットの深さ 32

実現したいこと

上記③と⑤を同じ結果にしたい。
opencvもlibpngを使用しているため、同じ結果になると思いましたが、
Pngの圧縮などの知識があまりなく、なぜ異なるのかがわかっていません。

該当のソースコード

③

cvimg = cv2.imread("./temp/sample.png", -1)
cv2.imwrite("./temp/cv.png", cvimg, [cv2.IMWRITE_PNG_COMPRESSION, 6])

opencv内のlibpng使用箇所

bool  PngEncoder::write( const Mat& img, const std::vector<int>& params )
{
    png_structp png_ptr = png_create_write_struct( PNG_LIBPNG_VER_STRING, 0, 0, 0 );
    png_infop info_ptr = 0;
    FILE * volatile f = 0;
    int y, width = img.cols, height = img.rows;
    int depth = img.depth(), channels = img.channels();
    volatile bool result = false;
    AutoBuffer<uchar*> buffer;

    if( depth != CV_8U && depth != CV_16U )
        return false;

    if( png_ptr )
    {
        info_ptr = png_create_info_struct( png_ptr );

        if( info_ptr )
        {
            if( setjmp( png_jmpbuf ( png_ptr ) ) == 0 )
            {
                if( m_buf )
                {
                    png_set_write_fn(png_ptr, this,
                        (png_rw_ptr)writeDataToBuf, (png_flush_ptr)flushBuf);
                }
                else
                {
                    f = fopen( m_filename.c_str(), "wb" );
                    if( f )
                        png_init_io( png_ptr, (png_FILE_p)f );
                }

                int compression_level = -1; // Invalid value to allow setting 0-9 as valid
                int compression_strategy = IMWRITE_PNG_STRATEGY_RLE; // Default strategy
                bool isBilevel = false;

                for( size_t i = 0; i < params.size(); i += 2 )
                {
                    if( params[i] == IMWRITE_PNG_COMPRESSION )
                    {
                        compression_strategy = IMWRITE_PNG_STRATEGY_DEFAULT; // Default strategy
                        compression_level = params[i+1];
                        compression_level = MIN(MAX(compression_level, 0), Z_BEST_COMPRESSION);
                    }
                    if( params[i] == IMWRITE_PNG_STRATEGY )
                    {
                        compression_strategy = params[i+1];
                        compression_strategy = MIN(MAX(compression_strategy, 0), Z_FIXED);
                    }
                    if( params[i] == IMWRITE_PNG_BILEVEL )
                    {
                        isBilevel = params[i+1] != 0;
                    }
                }

                if( m_buf || f )
                {
                    if( compression_level >= 0 )
                    {
                        png_set_compression_level( png_ptr, compression_level );
                    }
                    else
                    {
                        // tune parameters for speed
                        // (see http://wiki.linuxquestions.org/wiki/Libpng)
                        png_set_filter(png_ptr, PNG_FILTER_TYPE_BASE, PNG_FILTER_SUB);
                        png_set_compression_level(png_ptr, Z_BEST_SPEED);
                    }
                    png_set_compression_strategy(png_ptr, compression_strategy);

                    png_set_IHDR( png_ptr, info_ptr, width, height, depth == CV_8U ? isBilevel?1:8 : 16,
                        channels == 1 ? PNG_COLOR_TYPE_GRAY :
                        channels == 3 ? PNG_COLOR_TYPE_RGB : PNG_COLOR_TYPE_RGBA,
                        PNG_INTERLACE_NONE, PNG_COMPRESSION_TYPE_DEFAULT,
                        PNG_FILTER_TYPE_DEFAULT );

                    png_write_info( png_ptr, info_ptr );

                    if (isBilevel)
                        png_set_packing(png_ptr);

                    png_set_bgr( png_ptr );
                    if( !isBigEndian() )
                        png_set_swap( png_ptr );

                    buffer.allocate(height);
                    for( y = 0; y < height; y++ )
                        buffer[y] = img.data + y*img.step;

                    png_write_image( png_ptr, buffer.data() );
                    png_write_end( png_ptr, info_ptr );

                    result = true;
                }
            }
        }
    }

⑤ 読み込み省略してます。

void test(png_bytepp image,
	int		width,
	int		height,
	int		bitDpth,
	int		colorType,
	int		interlaceType) 
{
	png_structp png = png_create_write_struct(PNG_LIBPNG_VER_STRING, NULL, NULL, NULL);
	png_infop info = png_create_info_struct(png);

	if ((info == NULL) || (setjmp(png_jmpbuf(png)) != 0)) {
		png_destroy_write_struct(&png, NULL);
		return;
	}
	FILE* f = fopen("cpp.png", "wb");
	png_init_io(png, (png_FILE_p)f);

	png_set_compression_level(png, 6);
	png_set_IHDR(png, info,width, height, bitDpth, colorType, 0,PNG_COMPRESSION_TYPE_DEFAULT, PNG_FILTER_TYPE_DEFAULT);

	png_write_info(png, info);
	png_write_image(png, image);
	png_write_end(png, info);

	png_destroy_write_struct(&png, &info);
	fclose(f);
}

③と⑤バイナリ比較抜粋

Comments

[int32_t]

IHDR の内容は1ビットも違いがなかったですか?
IDAT のサイズは同一ですか?

[Y...M]

質問のほうに比較した結果の抜粋を貼り付けました。
IHDRは同じと思います。
IDATのサイズはIDATの手前4バイトのことを指されている場合は同じと思います。
Pngファイルのプロパティ上のサイズおよびIDAT以降のデータ量は異なっています。

[maisumakun]

> 上記③と⑤を同じ結果にしたい。

なぜ同じ結果にしたいのでしょうか？

[Y...M]

>maisumakunさん
質問に記載の2つの方法で同じ画像を出力したいと考えており、
同じことを証明する際に、バイナリレベルで同じであれば、
出力画像が同じであることを証明できると思ったからです。

[jbpb0]

c++でもopencvで保存したら、ファイルのデータが③と同じになりそうな気がしますが、c++ではlibpngを使わないといけない理由があるのでしょうか？

また、③と⑤をpythonのopencvで読み込んだ時のnumpy配列のデータは、異なるのでしょうか？

[yominet]

可逆圧縮のはずなのでこだわる理由がちょっと不明なのだけど
OpenCVのソース部分をコピーして、void test2()を作成し、
各pnt_set_***関数に引き渡される関数、結果を自分のtest()と
比較・確認してみてはいかがでしょうか？

[Y...M]

＞yominetさん
Png画像の同一性はピクセルが同じなら同じ画像という理解でも良いんですかね？
「可逆圧縮のはずなのでこだわる理由がちょっと不明なのだけど」について
こだわりはあまりなく、異なる手段で出力したPng画像が同じ画像なこと確認したいのですが、
どのように確認すれば同じといえるかご存じでしょうか？

[jbpb0]

> 異なる手段で出力したPng画像が同じ画像なこと確認したいのですが、
どのように確認すれば同じといえるかご存じでしょうか？

それを確認するために、

> ③と⑤をpythonのopencvで読み込んだ時のnumpy配列のデータは、異なるのでしょうか？

と書きました

圧縮された状態(③と⑤)のデータが違っても、圧縮を解いた状態(③と⑤をpythonのopencvで読み込んだ時のnumpy配列)のデータが同じなら、「実質」同じではないか、と思いまして

[Y...M]

＞jbpb0さん
③と⑤をpythonで読み込み、ピクセル値をテキストに吐き出したものは同じ結果になりました。

[jbpb0]

> 質問に記載の2つの方法で同じ画像を出力したい

の「同じ画像」の意味によると思います

質問文に書いてあるようにファイルの内容に相違点がある場合は、もちろん「同じ画像ファイル」ではありませんが、画像ファイルをプログラムで読み込んだ状態の配列(グレースケールなら2次元、カラーならば3次元)のデータが全部同じなら「同じ画像」だと私は思いました
「同じ画像」の意味をそのように解釈して、上のコメントを書きました

質問者さんが、「同じ画像」を「同じ画像ファイル」の意味で使ってるのでしたら、私のコメントは的外れです

質問者さんの目的は、何を「同じ」にしたいのでしょうか？
質問文に書いてあるように、「画像ファイル」の内容を全く「同じ」にしたいのでしょうか？
それとも、画像ファイルを「プログラムで読み込んだ状態のデータ」が「同じ」であればいいのでしょうか？

> ③と⑤をpythonで読み込み、ピクセル値をテキストに吐き出したものは同じ結果になりました。

から、後者の意味では「同じ」です

Answer 1

以下のようにすることで③と⑤が同じになりました。
STRATEGYの設定が異なっていることが原因でした。

C++側でpng_set_compression_strategy()を設定しない場合は、
DEFAULTではなく、FILTEREDになっているようでした。
opencv側は設定しなければDEFAULTにになります。

cvimg = cv2.imread("./temp/sample.png", -1)
cv2.cvtColor(cvimg, cv2.COLOR_BGR2RGB)
cvparam = [
    cv2.IMWRITE_PNG_COMPRESSION,
    6,
    cv2.IMWRITE_PNG_STRATEGY,
    cv2.IMWRITE_PNG_STRATEGY_FILTERED,
]
cv2.imwrite(
    "./temp/cv.png",
    cvimg,
    cvparam,
)

Answer 2

int compression_strategy = IMWRITE_PNG_STRATEGY_RLE; // Default strategy

OpenCV の方は圧縮ストラテジとしてデフォルトで RLE を指定しているようです。C++コードの方は png_set_compression_strategy() が呼ばれていないのでデフォルトの Z_DEFAULT が使われているのでしょう。これを合わせてみてはどうでしょうか。

OpenCV では png_set_bgr() も使われていますね。

Answer 3

Pngの圧縮などの知識があまりなく、なぜ異なるのかがわかっていません。

1ピクセルも変わらない画像でも、

• 行ごとに施すフィルター
• zlibによる圧縮処理の調整

により、PNGファイルにしたときのファイル内容は変わりえます。

Comments

[maisumakun]

https://qiita.com/jkr_2255/items/aa2487981e949728d190

[maisumakun]

> 同じことを証明する際に、バイナリレベルで同じであれば、
出力画像が同じであることを証明できると思ったからです。

基本的に、全く同じPNG生成ルーチンを全く同じ設定で動かさない限り、同一バイナリは望めません。

[Y...M]

ありがとうございます。

>行ごとに施すフィルター
このフィルターはIHDRで指定するフィルターとは異なるものでしょうか？
>zlibによる圧縮処理の調整
同じバージョンのlibpngを使用している場合でも上記が異なり得るということでしょうか？

[maisumakun]

> このフィルターはIHDRで指定するフィルターとは異なるものでしょうか？

はい、行ごとに設定するもので、IDATの中身にも含まれます。

[Y...M]

そうだったんですね・・・。
行ごとのフィルターがどうなっているかがわかれば同じ処理にできる可能性があるということですね。