条件文での比較のエラー

Question

緑色の矩形内に赤い直線がある場合,白い線としたいと思っています

そこで矩形の頂点(a,b,c,d)の4点と直線の両端(X1,X2)の座標を求め、
条件文で矩形の座標間にX1,X2があった場合を行いたいのですが

頂点 a[170 113] b[167 57] c[317 50] d[319 105]
X1 (263.29733, 104.87856)
X2 (256.93668, 107.05521)
X1 (318.125, 104.85714)
X2 (264.37497, 104.85878)
X1 (256.87796, 107.75887)
X2 (224.3598, 107.49466)
X1 (241.82504, 109.3887)
X2 (318.10205, 106.30674)
X1 (225.59557, 110.03477)
X2 (239.43582, 109.34441)
・
・
・
Traceback (most recent call last):
File "○○○.py", line 101, in <module>
if a < X1 < b:
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

というエラーがでてしまいます
これは条件文に対してX1がどの値かが明確ではないため起こる問題であっていますでしょうか
この場合条件文で比較するためのアドバイスをいただけたら幸いです

import cv2
import math
import numpy as np

img_src = cv2.imread("./haku/sample/image1.ppm")

gauss = cv2.GaussianBlur(img_src,(11,11),0)#9,9
gray = cv2.cvtColor(gauss,cv2.COLOR_BGR2GRAY)
ret,th1 = cv2.threshold(gray,200,255,cv2.THRESH_BINARY)
edges = cv2.Canny(th1,50,150)#(100,150)

#矩形検出
img, contours, hierarchy = cv2.findContours(th1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
if len(contours) > 0:
     for i in range(0, len(contours)):
      cnt = contours[i]
      M = cv2.moments(cnt)
      #print(M)
      area = cv2.contourArea(cnt)
      print(area)
      if 500 < area < 5000:
       rect = cv2.minAreaRect(contours[i])
       box = cv2.boxPoints(rect)
       box = np.int0(box)
       x1,x2,x3,x4 = np.int0(box)
       a = np.array(x1)
       b = np.array(x2)
       c = np.array(x3)
       d = np.array(x4)
       
       A = np.linalg.norm(a-b)
       B = np.linalg.norm(a-c)
       C = np.linalg.norm(a-d)
      
       print("頂点",x1,x2,x3,x4)
       #print("abcd", a,b,c,d)
       #print("Aの長さ", A)
       #print("Bの長さ",B)
       #print("Cの長さ",C)
       
       if A < B:
         min = A
       else:
         min = B
       if C < min:
         min = C
       print("最小",min)
       if 5 < min < 25:
          im = cv2.drawContours(img_src,[box],0,(0,255,0),2)

#直線検出
LSD = cv2.createLineSegmentDetector()
lines, width, prec, nfa = LSD.detect(edges)
if lines is not None:
     for i in range(len(lines)):

        for x1,y1,x2,y2 in lines[i] :
             cv2.line(img_src,(x1,y1),(x2,y2),(0,0,255),2)
             X1 = (x1, y1)
             X2 = (x2, y2)
             print("X1", X1)
             print("X2", X2)
             
jug1 = cv2.pointPolygonTest(rect, X1, False)
jug2 = cv2.pointPolygonTest(rect, X2, False)
print(jug1)
print(jug2)
.
.
.

コードが見づらくて申し訳ありません

import cv2
import math
import numpy as np

img_src = cv2.imread("./haku/sample/image1.ppm")

gauss = cv2.GaussianBlur(img_src,(11,11),0)#9,9
gray = cv2.cvtColor(gauss,cv2.COLOR_BGR2GRAY)
ret,th1 = cv2.threshold(gray,200,255,cv2.THRESH_BINARY)
edges = cv2.Canny(th1,50,150)#(100,150)


img, contours, hierarchy = cv2.findContours(th1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
if len(contours) > 0:
     for i in range(0, len(contours)):
      cnt = contours[i]
      M = cv2.moments(cnt)
      #print(M)
      area = cv2.contourArea(cnt)
      print(area)
      if 500 < area < 5000:
       rect = cv2.minAreaRect(contours[i])
       box = cv2.boxPoints(rect)
       box = np.int0(box)
       x1,x2,x3,x4 = np.int0(box)
       a = np.array(x1)
       b = np.array(x2)
       c = np.array(x3)
       d = np.array(x4)
       
       A = np.linalg.norm(a-b)
       B = np.linalg.norm(a-c)
       C = np.linalg.norm(a-d)
      
       print("頂点",x1,x2,x3,x4)
       #print("abcd", a,b,c,d)
       #print("Aの長さ", A)
       #print("Bの長さ",B)
       #print("Cの長さ",C)
       
       if A < B:
         min = A
       else:
         min = B
       if C < min:
         min = C
       print("最小",min)
       if 5 < min < 25:
            im = cv2.drawContours(img_src,[box],0,(0,255,0),2)
       

def within(line, rect):
    """line が rect に含まれるかどうか
    """
    p1, p2 = tuple(line[:2]), tuple(line[2:])
    # 線の始点と終点が長方形内に含まれるかどうか
    return cv2.pointPolygonTest(box, p1, False) >= 0 and \
           cv2.pointPolygonTest(box, p2, False) >= 0
      
LSD = cv2.createLineSegmentDetector()
lines, width, prec, nfa = LSD.detect(edges)
print(lines.shape)
lines = np.squeeze(lines)

if lines is not None:
     for i in range(len(lines)):

        #for x1,y1,x2,y2 in lines[i] :
         #    cv2.line(img_src,(x1,y1),(x2,y2),(0,0,255),2)
          #   X1 = (x1, y1)
           #  X2 = (x2, y2)
            # print("X1", X1)
             #print("X2", X2)
         for line in lines:
             p1, p2 = tuple(lines[:2]), tuple(line[2:])
             if within(line, rect):
                  # 長方形に含まれる場合は赤色で描画
                  cv2.line(img_src, p1, p2, (0, 0, 255), 2)
             else:
                  # 長方形に含まれない場合は赤色で描画
                  cv2.line(img_src, p1, p2, (255, 0, 0), 2)


#cv2.imwrite("teratail.jpg", img_src)
cv2.imshow('src', img_src)
cv2.waitKey()
cv2.destroyAllWindows()

修正後

import cv2
import math
import numpy as np

img_src = cv2.imread("test.jpg")

gauss = cv2.GaussianBlur(img_src, (11, 11), 0)
gray = cv2.cvtColor(gauss, cv2.COLOR_BGR2GRAY)
ret,th1 = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY)
edges = cv2.Canny(th1, 50, 150)

img, contours, hierarchy = cv2.findContours(th1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
for i in range(0, len(contours)):
#for cnt in contours:
         cnt = contours[i]
         area = cv2.contourArea(cnt)
         #print(area)

         if 500 < area < 5000:
           rect = cv2.minAreaRect(cnt)
           box = cv2.boxPoints(rect)

           (cx, cy), (width, height), angle = rect
           diag = np.linalg.norm([width, height])
           #print(width, height, diag)
        # 161.91236877441406 16.144147872924805 162.715237986

        # 
           A = width
           B = height
           C = diag

           if A < B:
             min = A
           else:
             min = B
           if C < min:
             min = C
           print("min", min)
           if 5 < min < 25:
            # 
             cv2.drawContours(img_src, [box.astype(int)], -1, (0, 255, 0), 2)

def within(line, rect):
   
    p1, p2 = tuple(line[:2]), tuple(line[2:])
           #print("p1",p1)
           #print("p2",p2)
           #print("line",line)
    return cv2.pointPolygonTest(box, p1, False) >= 0 and \
           cv2.pointPolygonTest(box, p2, False) >= 0

LSD = cv2.createLineSegmentDetector()
lines, width, prec, nfa = LSD.detect(edges)
if lines is not None:
         lines = np.squeeze(lines,axis=1)
       #if lines.dims == 1:
       #  lines = np.expand_dims(lines, axis=0)
         for line in lines:
           p1, p2 = tuple(line[:2]), tuple(line[2:])
           print("line",line)

           if within(line, rect):
         
              cv2.line(img_src, p1, p2, (0, 0, 255), 2)
           #else:
        
            #  cv2.line(img_src, p1, p2, (255, 0, 0), 2)



cv2.imshow('src', img_src)
cv2.waitKey()
cv2.destroyAllWindows()

Answer 1

回転してない長方形に点が含まれるかどうかを調べる。

• 回転していない長方形であれば、点 (x, y) が長方形に含まれるかどうかは、left <= x <= rignt and top <= y <= bottom を満たすかどうかで判断します。
• 線が含まれるかどうかは始点と終点が両方とも含まれるかどうかで判断します。

提示された四角形に点が含まれるかどうか

• 上記を満たしていても、四角形内に点が含まれないケースが出てきます。
• 四角形もポリゴンであるから、ポリゴン内に点が含まれるかどうかを判断するアルゴリズム必要になります。

OpenCV の pointPolygonTest() を使うと簡単にできます。

retval = cv.pointPolygonTest(contour, pt, measureDist)

• contour: 輪郭の点の一覧。(N, 2) の numpy 配列
• pt: (x, y) のタプル
• measureDist: 端点までの距離を計算するかどうか

返り値は、ポリゴンの内側にある場合は正の値、境界線上にある場合は0、外側にある場合は負の値を返します。

• 線が含まれるかどうかは始点と終点が両方とも含まれるかどうかで判断します。今回の四角形は凸集合なので、始点と終点が含まれることが確認できれば、その間の点もすべてポリゴンに含まれることが保証されます。

サンプルコード

import cv2
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.patches import Polygon
from matplotlib.lines import Line2D

# 線と長方形を定義
line0 = np.array([[50, 50], [100, 100]])
line1 = np.array([[200, 20], [250, 150]])
line2 = np.array([[275, 75], [250, 100]])
rect = np.array([[170, 113], [167, 57], [317, 50], [319, 105]])

def within(line, rect):
    """line が rect に含まれるかどうか
    """
    p1 = tuple(line[0])
    p2 = tuple(line[1])
    # 線の始点と終点が長方形内に含まれるかどうか
    return cv2.pointPolygonTest(rect, p1, False) >= 0 and \
           cv2.pointPolygonTest(rect, p2, False) >= 0


fig, axes = plt.subplots()
axes.set_xlim([0, 500])
axes.set_ylim([0, 200])
# 長方形を描画する。
axes.add_patch(Polygon(rect, fill=False))
for i, line in enumerate([line0, line1, line2]):
    # 線を描画する。
    axes.add_line(Line2D(line[:, 0], line[:, 1], c=np.random.rand(3)))
    axes.text(*line[0], 'line {}'.format(i), fontsize=12)
    
    if within(line, rect):
        print('rect contains line {}.'.format(i))
    else:
        print('rect does not contains line {}.'.format(i))

plt.show()

rect does not contains line 0.
rect does not contains line 1.
rect contains line 2.

---

追記

import cv2
import numpy as np

def extract_contour(binary):
    """2値画像から輪郭を抽出する。
    """
    # 輪郭を抽出する。
    _, contours, _ = cv2.findContours(
        binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)

    if not contours:
        return  # 輪郭がない場合

    # 面積が最大の輪郭を抽出する。
    cnt = max(contours, key=lambda cnt: cv2.contourArea(cnt))
    # 輪郭を囲む回転した長方形を取得する。
    rect = cv2.boxPoints(cv2.minAreaRect(cnt))
    
    return rect

# 画像を読み込む。
img = cv2.imread("test.jpg")
# グレースケールにする。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 2値化する。
_, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY)

# 長方形を取得する。
rect = extract_contour(binary)

# 回転した長方形を描画する。
_img = img.copy()
cv2.drawContours(_img, [rect.astype(int)], -1, (0, 255, 0), 2)

def within(line, rect):
    """line が rect に含まれるかどうか
    """
    p1, p2 = tuple(line[:2]), tuple(line[2:])
    # 線の始点と終点が長方形内に含まれるかどうか
    return cv2.pointPolygonTest(rect, p1, False) >= 0 and \
           cv2.pointPolygonTest(rect, p2, False) >= 0

# Canny エッジ検出を行う。
edges = cv2.Canny(binary, 50, 150)

# 直線を検出する。
LSD = cv2.createLineSegmentDetector()
lines, _, _, _ = LSD.detect(edges)

print(lines.shape)  # (18, 1, 4)
lines = np.squeeze(lines)  # 余分な次元削除

# 線が長方形内に含まれるかどうか調べる。
for line in lines:
    p1, p2 = tuple(line[:2]), tuple(line[2:])

    if within(line, rect):
        # 長方形に含まれる場合は赤色で描画
        cv2.line(_img, p1, p2, (0, 0, 255), 2)
    else:
        # 長方形に含まれない場合は赤色で描画
        cv2.line(_img, p1, p2, (255, 0, 0), 2)

TypeError: contour is not a numerical tuple について

cv2.pointPolygonTest() の第1引数 contour に渡された値がおかしいというエラーです。
OpenCV の Python ラッパーで contour というものが出てきたら、これは (NumPoints, 2) の numpy 配列です。

実際、値を見てみると、以下のようになっています。
cv2.minAreaRect() で輪郭を囲む回転した長方形の ((中心の x 座標, 中心の y 座標), (長方形の幅, 長方形の高さ), 回転角度) を返すので、これを cv2.boxPoints() で4点の座標からなる輪郭 (contour) に変換しているので、あなたのコード中の rect ではなく、boxを渡さないといけません。

print(rect)
# ((177.51132202148438, 77.53165435791016), (161.91236877441406, 16.144147872924805), -19.653823852539062)
print(box)
# [[103 112]
#  [ 98  97]
#  [251  42]
#  [256  57]]

変更が必要な箇所

jug1 = cv2.pointPolygonTest(rect, X1, False)
jug2 = cv2.pointPolygonTest(rect, X2, False)

↓

jug1 = cv2.pointPolygonTest(box, X1, False)
jug2 = cv2.pointPolygonTest(box, X2, False)

提示されたコードの修正バージョン

import cv2
import math
import matplotlib.pyplot as plt
import numpy as np

img_src = cv2.imread("sample.jpg")

gauss = cv2.GaussianBlur(img_src, (11, 11), 0)
gray = cv2.cvtColor(gauss, cv2.COLOR_BGR2GRAY)
ret,th1 = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY)
edges = cv2.Canny(th1, 50, 150)
img, contours, hierarchy = cv2.findContours(th1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)

for cnt in contours:
    cnt = contours[i]
    area = cv2.contourArea(cnt)
    print(area)

    if 500 < area < 5000:
        rect = cv2.minAreaRect(cnt)
        box = cv2.boxPoints(rect)
        
        (cx, cy), (width, height), angle = rect
        diag = np.linalg.norm([width, height])
        print(width, height, diag)
        # 161.91236877441406 16.144147872924805 162.715237986

        # 長方形の幅、高さ、対角線の長さは cv2.minAreaRect() の返り値
        # を見ればわかるので計算しなくてもよい。
        x1, x2, x3, x4 = box
        A = np.linalg.norm(x1 - x2)
        B = np.linalg.norm(x1 - x3)
        C = np.linalg.norm(x1 - x4)
        print("頂点",x1, x2, x3, x4)
        print("Aの長さ", A)  # Aの長さ 16.1441
        print("Bの長さ",B)  # Bの長さ 162.715
        print("Cの長さ",C)  # Cの長さ 161.912

        if A < B:
            min = A
        else:
            min = B
        if C < min:
            min = C
        print("最小", min)
        if 5 < min < 25:
            # drawContours() の contours 引数は int 型でないといけない。
            cv2.drawContours(img_src, [box.astype(int)], -1, (0, 255, 0), 2)


def within(line, rect):
    """line が rect に含まれるかどうか
    """
    p1, p2 = tuple(line[:2]), tuple(line[2:])
    # 線の始点と終点が長方形内に含まれるかどうか
    return cv2.pointPolygonTest(box, p1, False) >= 0 and \
           cv2.pointPolygonTest(box, p2, False) >= 0

LSD = cv2.createLineSegmentDetector()
lines, width, prec, nfa = LSD.detect(edges)
lines = np.squeeze(lines)

for line in lines:
    p1, p2 = tuple(line[:2]), tuple(line[2:])

    if within(line, rect):
        # 長方形に含まれる場合は赤色で描画
        cv2.line(img_src, p1, p2, (0, 0, 255), 2)
    else:
        # 長方形に含まれない場合は赤色で描画
        cv2.line(img_src, p1, p2, (255, 0, 0), 2)

# cv2.imwrite("teratail.jpg", img_src)
cv2.imshow('src', img_src)
cv2.waitKey()
cv2.destroyAllWindows()

Comments

[uriuri]

とてもわかりやすい回答ありがとうございます
実際に試そうとしたのですが、エラーでひっかかってしまいました
TypeError: contour is not a numerical tuple

コードは質問の場所に載せました
今回、長方形は回転を考慮したものとなっています
プログラミング初心者で理解が浅く申し訳ありません
指導していただけると幸いです

[tiitoi]

元画像と輪郭抽出前の部分のコードも追記できますでしょうか？

[uriuri]

追記させていただきました

[uriuri]

お手数おかけして申し訳ありません

[tiitoi]

検出された線分が長方形内に含まれるかどうかを判定するように書いたのですが、このような感じでいいのでしょうか。
長方形外と判定された線分が青、長方形内と判定された線分が赤になっています。

[uriuri]

丁寧な回答ありがとうございます
長方形内に直線があるかどうかの判定とても参考になりました
自分のコードを書き換えて試したのですが
TypeError: contour is not a numerical tuple
というエラーがでてしまいます
追記できていなかったのでコードに追記しましたが、numpyを用いて線の幅を求め条件をつけ長方形をだしています
調べても解決策がわからず申し訳ありません

[tiitoi]

TypeError: contour is not a numerical tuple について、回答の一番下に書きました。簡単にいうと、`rect`でなく、`box`を渡してください。
これで uriuri さんのコードがエラーなく動くことが確認できました。

[uriuri]

お忙しい中ありがとうございます
TypeError: contour is not a numerical tuple
というエラーは解決できました
しかしまだうまくいかず、
申し訳ないのですが、書き換えたコードについて添削をしてもらってもいいでしょうか
for文を用いているのは各線分に対してカメラで写ったものを処理するためです
コードを新しく追記します
できる範囲で助けてもらえるとありがたいです

[uriuri]

頼りすぎてしまいごめんなさい

[tiitoi]

```
p1, p2 = tuple(lines[:2]), tuple(line[2:])
```
↓
```
p1, p2 = tuple(line[:2]), tuple(line[2:])
```
です。提示されたコードを修正したものを回答の一番下に書きました。
一部冗長な箇所は除いてあります。

````
if lines is not None:
if len(contours) > 0:
````
は、配列が空なら for 文が回らないのであえて書く必要はありません。

長方形の幅、高さを計算していますが、cv2.minAreaRect() の返り値にその情報があるので、
対角線だけ計算すればよいです。
````
A = np.linalg.norm(x1 - x2)
B = np.linalg.norm(x1 - x3)
C = np.linalg.norm(x1 - x4)
```
↓
````
rect = cv2.minAreaRect(cnt)
(cx, cy), (width, height), angle = rect
diag = np.linalg.norm([width, height])
````

[uriuri]

ありがとうございます
本当に助かりました

[uriuri]

独学でやっているため質問できる方もいず、今回は本当に頼りになりました。
今後、助言いただけると本当に助かります。
ありがとうございました

[uriuri]

tiitoiさん、ごめんなさい

動かして気づいたのですが私のコードでは矩形内に直線があるかの判定を行っていず、別々に処理を行っていることに気づきました。

お時間がよろしければ教えてもらいながら修正したいと思っています。
甘えてしまってごめんなさい

[tiitoi]

表題の件は解決されていると思うので、

* 今のコード全体
* 問題点 または 期待する処理、アウトプット

を明確にして、新しく質問を作っていただけますか。

[uriuri]

わかりました。
たびたび申し訳ありません。

Answer 2

ちょっとダサいですが、次のように書いてみてください。

if np.all((a < X1) & (X1 < b)):
    ...

Comments

[uriuri]

if (a < X1) & (X1 < b):
で試してみましたが同じエラーがでてしまいました

[LouiS0616]

追記しておきました。
エラーは出なくなるはずですが、これではうまく判定できなさそうですね。

tiitoiさんの回答が参考になると思います。