Python:領域限定の最頻値と比較するには？

Question

import numpy as np
import cv2
import scipy.stats as sstats
import matplotlib.pyplot as plt

def func1(luv):
    l, u, v = cv2.split(luv.astype(int))
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    luv[(mode_u - u)**2 + (mode_v - v)**2 < 3000., :] = [0, 0, 0]
    return luv

bgr = cv2.imread('bara.jpg')
luv = cv2.cvtColor(bgr, cv2.COLOR_BGR2Luv)

luvs = func1(luv)
result_s = cv2.cvtColor(luvs, cv2.COLOR_Luv2BGR)
cv2.imwrite("result_s.jpg",result_s)
rgb = result_s[:, :, [2, 1, 0]]
plt.imshow(rgb)
plt.show()

上記コードは、画像全体の最頻値を求めて、各画素でその最頻値に近い色を黒く塗りつぶすプログラムです。これを、各画素の±20画素の正方形の領域内の最頻値に近い色を黒く塗りつぶすようにするにはどうしたらよいかご教示ください。

なお、質問する前に解決方法として検討したことは、
（１）事前にresizeすることで低解像の画像を最頻値で作成し、その画素の値と比較する方法。
（２）for文で比較画素を中心とした41×41画素の正方形領域で最頻値を算出してその画素の値と比較する方法です。
前者は低解像度の画像を作成する際に最頻値を指定する方法が分からず、後者は計算時間が膨大になる問題があり、どちらも現実的ではないと思い、諦めました。もし本質問に適切な回答がないことが明らかでしたら、そのことをご教示いただけましたら、幸いです。