画像処理の鮮鋭化フィルタ適用後の0~255から外れた画素値の補正方法を知りたい

Question

前提・実現したいこと

現在、Python3で画像処理の鮮鋭化を勉強しております。
その中で、鮮鋭化フィルタをかけた際に0~255の値から外れた値が出てきました。

色々なサイトをみて回ったものの0~255以外をカットする方法しか見当たらなく、強制的に丸める方法で実装していましたが、鮮鋭化フィルタにかける定数倍の値を大きくするとかなり汚くなりました。

そこで、全体を同比補正するために画素の配列をフィルタ適用後、全体に最小値の分だけ足して全体に、255/abs(max-min)をかけて0~255に収まるよう補正しましたがこちらも定数倍の値を大きくする度に、鮮鋭化は強くなってる気はするのですがそれ以上に画像が潰れて汚くなってしまいました。

なので、自力で実装したいのでOpenCVやPILのImageFilterなどの画像処理ライブラリは使わない方法で、他に良い方法があれば教えて頂きたいです。

発生している問題・エラーメッセージ

実行結果

k=4, 最小値:-270.1111111111111, 最大値:636.9999999999999
k=9, 最小値:-648.0, 最大値:1142.0
k=18, 最小値:-1344.0, 最大値:2051.0

元画像

k=4の時

k=9の時

k=18の時

該当のソースコード

import numpy as np      # 行列の計算用
from PIL import Image   # 画像の読み込み用

# 元画像を読み込む
image = Image.open('gray02.jpg')
# 元の画像
image.convert("L").show()

###############################################
# 鮮鋭化を行う関数
#
# @param int size 鮮鋭化フィルタのサイズ
# @param int k 入力画素-平滑化画素にかける定数倍の値
###############################################
def sharpening_filter(size=3, k=4):

    image_array = np.array(image.convert("L")) # 元画像
    sharp_image_array = np.array(image.convert("L"), dtype='float64') # 元画像

    #########################
    # 鮮鋭化を行う
    #########################
    # 色々と使うので先にずらす値を変数として作っておく
    slide = int(size/2)
    # 平均化フィルタ
    avg_filter = np.full((size, size), 1/size**2)
    # 入力画素だけ出力するフィルタ
    input_filter = np.zeros((size, size))
    input_filter[slide][slide] = 1
    # 鮮鋭化フィルタ
    sharp_filter = input_filter + (k * ( input_filter - avg_filter ))

    min = 0 # 最小値
    max = 0 # 最大値

    # 鮮鋭化の処理を行う
    # 縦にかけるループ
    for row_index in range(slide, len(image_array)-slide):
        # 横にかけるループ
        for column_index in range(slide, len(image_array[row_index])-slide):
            # 注目画素を新しいくするために、一旦0クリアする
            new_pixel_value = 0
            # 注目画素と周囲の画素にフィルタをかけて積和の値で画素を更新する
            # 行列を横1列に変換する
            input_temp = image_array[row_index-slide:row_index+slide+1, column_index-slide:column_index+slide+1].ravel()
            sharp_temp = sharp_filter.ravel()
            # 変換した行列の積和をとる
            new_pixel_value = np.sum( np.multiply(input_temp, sharp_temp) )
            # 最小値・最大値の比較を行う
            min = min if min < new_pixel_value else new_pixel_value
            max = max if max > new_pixel_value else new_pixel_value
            # 適用後の値で更新する
            sharp_image_array[row_index][column_index] = new_pixel_value

    # 最小値と最大値を表示する
    print("k={0}, 最小値:{1}, 最大値:{2}".format(k, min, max))

    delta = abs(max - min)  # 最大値と最小値の幅
    mag = 255 / delta       # 補正するための倍率

    # 縦にかけるループ
    for row_index in range(slide, len(image_array)-slide):
        # 横にかけるループ
        for column_index in range(slide, len(image_array[row_index])-slide):
            # minの値分だけずらして最小値を0にする
            temp = sharp_image_array[row_index][column_index] + abs(min)
            # 0~255に収まるようにする
            temp *= mag
            # 値を更新
            sharp_image_array[row_index][column_index] = temp

    # フィルタリングした画像にする
    sharp_image = Image.fromarray(np.uint8( sharp_image_array ) )
    # フィルタリングした変換結果を表示する
    sharp_image.show()

# 鮮鋭化を行う
sharpening_filter(3, 4)  # k = 4
sharpening_filter(3, 9)  # k = 9
sharpening_filter(3, 18) # k = 18

補足情報（FW/ツールのバージョンなど）

Python 3.8.0
Numpy 1.17.4
PIL 6.2.1

追記

ソースコードを見るとわかると思いますが、フィルタのかけられない画像の端の方などはそのまま出力するようにしております。

Comments

[meg_]

先鋭化フィルタとは「cv2.filter2D()」のことでしょうか？

[reishisu]

OpenCVをそこまで利用したことがなく、本当にできるのか試したことはないのですが、多分仰られた通りOpenCVだとfilter2Dを利用して実装していると思われます。
http://pongsuke.hatenadiary.jp/entry/2018/03/27/130251

[退会済みユーザー]

> OpenCVやPILのImageFilterなどの画像処理ライブラリは使わない方法で、他に良い方法があれば
OpenCVのやり方ではありますが、
img = cv2.imread("img.jpeg")
img_blur = cv2.GaussianBlur(img,(5,5),0)
img_unsharp = cv2.addWeighted(img,1.5,img_blur,-0.5,0)
cv2.imshow("img_unsharp (OpenCV)",img_unsharp)
cv2.waitKey(0)
のような感じでアンシャープマスクをすると綺麗に鮮鋭化できます。
(が、これをNumpyで書き直すのは骨が折れそうです…)

[reishisu]

おお〜、スッキリとしたコードですごいですね！

そうなんですよね。。。

個人的に、フィルタ適用のブラックボックスになっている畳み込みの処理や範囲外のアルゴリズムを自力で実装したかったのですが、やはり厳しいのでしょうか...><

Answer 1

所定の範囲を超えた値について、最小値～最大値が0～255になるようにするということはエッジが強ければ強いほど必然的にコントラストは下がります。

私が思うにこれは考え方の問題で「鮮鋭化フィルタの実装は既にできている」のだと思います。
どういうことかと言いますと「0255以外をカットする」「0255に収まるよう補正する」というのは、どちらもフィルタ結果の分析方法の問題であって、鮮鋭化フィルタとは別課題として扱うべきです。
一般的なライブラリでは画像として保存する都合上、何かしらの形で0～255に納めなければならず、その際元の画像のコントラストを維持するために範囲外の値をカットしていると思われますが、鮮鋭化フィルタ自体は0～255範囲外の値を含む結果で正しいのです。

「0255以外をカット」は、元の画像のコントラストを維持しつつエッジ強度を見る目的に合致します。
「min～maxを0255に収まるよう補正」は、全体のエッジ強度の比率が見たいときには適しています。
min, maxに限らず「XX～XXの範囲を0～255に収まるように補正」すれば、目的のエッジ強度範囲にのみ着目することができます。

目的に応じて使い分けが必要であり、これは別に鮮鋭化フィルタの本質ではないので、自前で作るときは別物として考えて良いかと思います。

Comments

[reishisu]

回答して頂きありがとうございます！

フィルタ結果の分析方法の問題と言うことで、かなり腑に落ちました！！
確かにそう言われてみれば、私の買った参考書だとフィルタのアルゴリズムは乗っていましたが、どの様にして範囲外の値を処理するかまでは言及されておりませんでした。

しかしながら、参考書だとkの値を18まで上げても綺麗に鮮鋭化されていたので、鮮鋭化=必ず綺麗にくっきり映るものと勘違いしておりました...(参考書の元画像はかなり暗めの画像だったかもしれないです)

参考書やどこのサイトも綺麗な実行結果ばかりで、周りに聞けなかったのでとても助かりました><

なので、一旦鮮鋭化の方は終えて次の章に進み一通り終わったらもう一度分析方法について自分で考えてみようと思います！

改めて、回答して頂きありがとうございました????