2枚の画像をSADで定量評価する

Question

元画像と、元画像を劣化させた後、高解像画像へ再構成した画像を
SAD（差の絶対和）で評価したいと思って以下のプログラムを書きました。

値は出るのですが想像以上に数値が大きく、合っているのかわかりません
何か問題があればご指摘いただけるとありがたいです。

import cv2
import sys
import numpy as np

def SAD(src, temp):
    vec1, vec2 = src.reshape(-1), temp.reshape(-1)
    return np.sum(np.abs(vec1 - vec2))

src = cv2.imread("元画像が入ります")
temp = cv2.imread("再構成した画像が入ります")

print(SAD(src, temp))

sys.exit()

Answer 1

合っていると思います。

vec1, vec2 = src.reshape(-1), temp.reshape(-1) は reshape せずそのまま
return np.sum(np.abs(src- temp)) とできます。

値は出るのですが想像以上に数値が大きく、合っているのかわかりません

絶対値の差の平均が3だとしても 500x500 の画像の場合、約 750000 になります。
画像全体の和をとっているので値もかなり大きくなると思います。

---

追記

• SAD の値は式からわかるように画像の大きさに依存するので、値がいくつ未満なら類似していると見なすかという基準はありません。
• SAD はテンプレートマッチングを行う際に、テンプレート画像と比較対象領域の類似度の計算には使えますが、画像の類似度を比較する目的では普通使わないと思います。

類似度比較でしたら、以下のように色のヒストグラムを計算し、そのヒストグラムの類似度で判断するのはどうでしょうか。

1. HSV に変換する。
2. Hue のヒストグラムを計算する。
3. ヒストグラムを正規化する。
4. ヒストグラムを比較する。

import os

import cv2
import matplotlib.pyplot as plt

# 画像を読み込む。
base = cv2.imread('sample1.jpg')  # 画像 きつねの画像
test1 = cv2.imread('sample2.jpg')  # 比較対象画像1 猫の画像
test2 = cv2.imread('sample3.jpg')  # 比較対象画像2 きつねの画像を一旦縮小して拡大して荒くしたもの
test3 = cv2.imread('sample4.jpg')  # 比較対象画像3 もちの画像


def create_hist(img):
    '''ヒストグラムを作成する。
    '''
    # HSV に変換する。
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    # 色相だけでヒストグラムを作成する。
    hist = cv2.calcHist([hsv], [0], None, histSize=[256], ranges=[0, 256])
    # ヒストグラムを正規化する。
    cv2.normalize(hist, hist)

    return hist


def test_similarity(img1, img2):
    hist1 = create_hist(img1)
    hist2 = create_hist(img2)
    comp = cv2.compareHist(hist1, hist2, cv2.HISTCMP_CORREL)
    print('similarity:', comp)

    fig, [ax1, ax2] = plt.subplots(1, 2, figsize=(8, 4))
    ax1.plot(hist1)
    ax2.plot(hist2)
    plt.show()

    fig, [ax1, ax2] = plt.subplots(1, 2, figsize=(8, 4))
    ax1.imshow(img1[..., ::-1])
    ax1.axis('off')
    ax2.imshow(img2[..., ::-1])
    ax2.axis('off')
    plt.show()


test_similarity(base, test1)
test_similarity(base, test2)
test_similarity(base, test3)

similarity: 0.6695568360090015
similarity: 0.9996917363691143
similarity: 0.7705205449656316

Comments

[runrun5]

ご回答ありがとうございます。
SADは一般的にはどのくらいの数値だと良いというのはありますか？

[tiitoi]

SADの画像は比較する画像の大きさによるので、どのくらいの数値なら類似しているかは一概にはいえません。
画像の類似度ならヒストグラムで比較するのはどうでしょうか。

[runrun5]

ヒストグラムで比較するという発想はなかったのでとても勉強になりました。
ご丁寧にありがとうございます。

[runrun5]

何度もすいません。
ふと気になったのですがなぜヒストグラムを正規化するのでしょうか？
申し訳ありませんがこちらもご回答いただけると幸いです。

[tiitoi]

ヒストグラムの値のスケールは画像サイズによるからです。
2つのサイズが異なる画像からヒストグラムを作成した場合、ヒストグラムのスケールが異なるので、そのあと cv2.compareHist() で比較するために正規化しています。

[runrun5]

大変丁寧に説明してくださってありがとうございました
とても分かりやすかったです