OpenCVで画像の輪郭の複雑さを数値化したいです。

Question

### 実現したいこと
python初心者です。
ポケモンの画像の複雑さを数値化したいと思っています。

丸みを帯びていれば数値が小さく、凹凸が多いポケモンは数値が大きくなるようにしたいです。

### 前提

現在輪郭を抽出し、複雑さを数値化するコードを作成してみましたが、
丸みを帯びているポケモンの方が、凹凸の多いポケモンよりも数値が高くなってしまいました。

・マルマイン：101
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-26/ccaf7f9b-c6f0-4837-978d-ff0c84c3f890.png)
・ムゲンダイナ：29
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-26/8b52818b-9959-4229-bb2a-9af43898069f.png)

### 該当のソースコード
以下のコードが現在作ってみたコードです。

```python
import cv2
import numpy as np
from scipy.spatial import ConvexHull

# 画像の読み込み
image = cv2.imread("pokemon_img/0039.png")

# グレースケールに変換
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

#　白黒反転
gray = 255 - gray

#パラメータ調整
blur = cv2.GaussianBlur(gray, (5, 5), 0)

# 2値化
#ret, thresh = cv2.threshold(gray, 120, 255, cv2.THRESH_BINARY)

#パラーメータ調整
ret, thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)

# 輪郭の抽出
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 輪郭の複雑さを数値化
complexity = 0
for contour in contours:
    # 輪郭の凸包を計算
    hull = ConvexHull(contour.reshape(-1, 2))
    
    # 凸包の頂点数を取得
    vertex_count = hull.vertices.shape[0]
    
    # 複雑さを加算
    complexity += vertex_count

print("輪郭の複雑さ:", complexity)

```

### 補足情報（FW/ツールのバージョンなど）

上記のコードは輪郭を抽出したのち、以下の手順で複雑さを数値化しました。
1. 'complexity = 0' で複雑さを初期化する変数を作成。
2. 'hull = ConvexHull(contour, reshape(-1,-2))' で凸包の数を計算。
3. 'vertex_count = hull.vertices.shape[0]' で凸包の頂点の数を計算。
4. 'complexity += vertex_count' で複雑さを加算。

なお今回のコードで使用したポケモンの画像は公式のポケモンずかんの画像から取得しています。

https://zukan.pokemon.co.jp

Accepted Answer

2023-05-27 追記

|画像|数値（複雑なほど大きい）|
|:--|:--:|
|マルマイン|3616|
|マルマイン（腕を落書き）|5653|
|ムゲンダイナ|7090|

```Python3
import os
import cv2
import numpy as np

def img_loader():
    path = os.path.split(os.path.abspath(__file__))[0] + "/"
    img_ma = cv2.imread(path + "ma.png")
    img_mu = cv2.imread(path + "mu.png")
    return img_ma,img_mu

def DoG(img):
    blur_3 = cv2.GaussianBlur(img, (3,3), 0)
    blur_5 = cv2.GaussianBlur(img, (5,5), 0)
    return blur_5 - blur_3

if __name__ == "__main__":
    img_ma, img_mu = img_loader()

if (img_ma is None) or (img_mu is None) :
        print("パスが間違っているかイメージが破損していてファイルがロードできませんでした。")
        print("マルマイン:",img_ma )
        print("ムゲンダイナ:",img_mu)
    else:
        # Laplacianできるようにグレースケールにする
        img_ma_gray = cv2.cvtColor(img_ma,cv2.COLOR_BGR2GRAY)
        img_mu_gray = cv2.cvtColor(img_mu,cv2.COLOR_BGR2GRAY)

# 線だけ抽出する
        img_ma_gray = DoG(img_ma_gray)
        img_mu_gray = DoG(img_mu_gray)

# 穴埋め
        img_ma_gray = cv2.GaussianBlur(img_ma_gray, (5,5), 0)
        img_mu_gray = cv2.GaussianBlur(img_mu_gray, (5,5), 0)

# 淡い灰色までは白判定にしてしまう
        _,img_ma_gray = cv2.threshold(img_ma_gray, 150, 255, cv2.THRESH_BINARY)
        _,img_mu_gray = cv2.threshold(img_mu_gray, 150, 255, cv2.THRESH_BINARY)

# Laplacianの分散を見る
        var_ma = cv2.Laplacian(img_ma_gray , cv2.CV_64F).var()
        var_mu = cv2.Laplacian(img_mu_gray , cv2.CV_64F).var()

# 表示部分
        cv2.imshow("img_ma_gray " + str(var_ma),img_ma_gray )
        cv2.imshow("img_mu_gray " + str(var_mu),img_mu_gray )
        cv2.waitKey(0)
```

> ポケモンの画像の複雑さを数値化したいと思っています。
cv2.Laplacian()をして、その後に.var()とすると、画像のエッジがどれくらい立っているかが見えます。
これは、画像のピントが合っているかどうか探るアルゴリズムで使われるものです。

「輪郭のー」という考え方と少しずれますが、「エッジが立っている」という指標が「ポケモンの画像の複雑さを数値化したい」の代替ができるのであれば、**ラプラシアンフィルタの分散を見る**、で良いのではないでしょうか。

Answer

[すっごい昔の私の質問](https://teratail.com/questions/204418)ですが，
この辺の話とかをどうにか使えませんかね？

例えば，
元の形状　と　丸めた形状　の差分を見るとか，そんなことをすれば，
十分滑らかな箇所の差分は少なく，尖っているとか細かく入り組んでいるような箇所では差分がたくさん生じるんじゃないかな，と．
（別の画像との比較には何らかの正規化が必要そうだけど．元の形状の面積で除すとか？）

Answer

# ChatGPTの回答

多角形の輪郭が滑らかであるかを数値的に判定する尺度として、曲率を利用する方法があります。曲率は、曲線上の点における曲線の曲がり具合を表す指標であり、曲率が小さいほど曲線は滑らかです。

以下の手順で多角形の輪郭の滑らかさを評価する尺度を計算することができます:

0. 多角形の各頂点における曲率を計算します。頂点における曲率は、その頂点に隣接する2つの辺のなす角度の差を利用して計算することができます。
0. 全ての頂点の曲率を合計し、平均曲率を求めます。
0. 平均曲率が小さいほど多角形の輪郭は滑らかであると判断できます。

具体的な計算式は、以下のようになります:

### 1. 各頂点における曲率の計算:
頂点P_iについて、その前後の頂点をP_{i-1}とP_{i+1}とします。P_iにおける曲率K_iは、以下の式で求めることができます:

K_i = |θ_{i-1} - θ_{i+1}|

ここで、θ_{i-1}はP_iを中心とするベクトルP_{i-1}P_iと、P_iを中心とするベクトルP_iP_{i+1}のなす角です。

### 2. 平均曲率の計算:
全ての頂点の曲率K_iを合計し、頂点の総数で割って平均曲率K_avgを求めます:

K_avg = (K_1 + K_2 + ... + K_n) / n

ここで、nは多角形の頂点の総数です。

### 3. 判定:
平均曲率K_avgが小さいほど多角形の輪郭は滑らかであると判断できます。適切な閾値を設定し、K_avgがその閾値以下であれば「滑らか」と判定することができます。

この方法を利用することで、多角形の輪郭の滑らかさを数値的に評価することができます。ただし、この尺度はあくまで一つの指標であり、他の滑らかさの定義に応じて適切な尺度を選ぶ必要があります。

画像	数値（複雑なほど大きい）
マルマイン	3616
マルマイン（腕を落書き）	5653
ムゲンダイナ	7090

実現したいこと

前提

該当のソースコード

補足情報（FW/ツールのバージョンなど）

ChatGPTの回答

1. 各頂点における曲率の計算:

2. 平均曲率の計算:

3. 判定:

関連した質問