OpenCVでのdrawMatchesをfor文で出来ない

Question

今,opencvのpythonでimage stitchingを学んでいる大学生です。
imageStitcher関数で画像を繋げることができたので特徴量を抽出してから各画像ごとにmatchingすることを目標にこのコードを書いています。二つの画像を入力してその特徴量の抽出とマッチングをすることができたので入力を複数画像にしようと試みたところエラーが出て行き詰まってしまったので質問させていただいている次第です。
1枚目がのコードのスクリーンショットが成功した２画像の入力です。
2枚目のスクリーンショットがエラーがでて画像も生成されずに困っているコードです。
ちなみにIn[2]までは実行できたのでそこまでに間違いはないと思っています。

おそらくfor文に問題があると思うのですが自分では今何が間違っていて実行できていないのかわかりません。
どなたかわかる方返信よろしくお願いします。

すみません....
成功したコード↓

import cv2
import numpy as np
img_ = cv2.imread('./IMG_9644.JPG')
img1 = cv2.cvtColor(img_, cv2.COLOR_BGR2GRAY)
img = cv2.imread('./IMG_9646.JPG')
img2 = cv2.cvtColor(img_, cv2.COLOR_BGR2GRAY)
sift = cv2.SIFT_create()
#find keypoints
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
match = cv2.BFMatcher()
matches = match.knnMatch(des1, des2, k =2)
good = []
for m,n in matches:
     if m.distance < 0.5*n.distance:
         good.append([m])
img3 = cv2.drawMatchesKnn(img_, kp1, img, kp2,good,None,flags=2)
cv2.imshow('IMG_drawMatches',img3)
cv2.waitKey(0)

失敗したコード↓

mport cv2
import numpy as np
import glob 

image_path=glob.glob('/view_img/*.JPG')
images = []
kp = []
gray = []
des =[]
feature = []
for image in image_path:
    img = cv2.imread(image)
    images.append(img)
    cv2.imshow("Image",img)
    cv2.waitKey(0)#0を画像上で入力すると次の画像へ
#print(img)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)#グレースケール
    cv2.imshow('grayImg',gray)
    cv2.waitKey(0)
    sift = cv2.SIFT_create()
    #find keypoints
    kp,des =sift.detectAndCompute(gray,None)#kpには特徴点の座標の情報、desには特徴量記述子の情報が格納
cv2.imshow('IMG_keypoints', cv2.drawKeypoints(img,kp,None))
cv2.waitKey(0)

matches =[]
match = cv2.BFMatcher()
for i in range(len(img)):
    for j in range(len(img)):
        if i!= j:
            matches = match.knnMatch(des[i], des[j], k=2)
            good = []
# Apply ratio test
for m,n in matches:
    if m.distance < 0.5*n.distance:
        good.append([m])
    feature = cv2.drawMatchesKnn(img[i], kp[i], img[j], kp[j], good, None, flags=2)
    #cv2.imwrite("f'fea{i:03d}.png",feature)
    cv2.imshow('IMG_drawMatches',feature)
cv2.waitKey(0)

IndexError                                Traceback (most recent call last)
/var/folders/fm/c943c_r93bzd8zk1ht89x4dr0000gn/T/ipykernel_3610/2609149258.py in <module>
      4     for j in range(len(img)):
      5         if i!= j:
----> 6             matches = match.knnMatch(des[i], des[j], k=2)
      7             good = []
      8 # Apply ratio test

IndexError: index 1414 is out of bounds for axis 0 with size 1414

このように表示されました。

Comments

[yuki23]

ソースコードとエラーメッセージはテキストで質問文に貼り付けてください。
その際ソースコードの上下を```で囲ってください。

[jbpb0]

pythonのコードの一番最初の行のすぐ上に
```python
だけの行を追加してください
また、pythonのコードの一番最後の行のすぐ下に
```
だけの行を追加してください

または、
https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif
を見て、そのようにしてみてください

現状、コードがとても読み辛いです
質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、コードの実行による現象確認もやりやすくなるので、回答されやすくなります

[jbpb0]

「for image in image_path:」のループ内での「kp,des =sift.detectAndCompute(...」で、「kp」と「des」には毎回「sift.detectAndCompute()」の結果が上書きされるので、ループが終わった後に「kp」と「des」に入ってるのは最後の画像での結果だけなので、後で「kp[i]」とか「des[i]」とかしても、それは質問者さんが意図してる処理ではありません

一旦別の変数に「sift.detectAndCompute()」の結果を入れて、それを「kp」と「des」にappendする必要があります (「images.append(img)」のように)

「img」も同様に、ループ内での「img = cv2.imread(image)」で毎回上書きされるので、後で「len(img)」とか「img[i]」とかしても、それは質問者さんが意図してる処理ではありません

読み込んだ画像は、「images.append(img)」で全部「images」に入ってるので、「len(images)」とか「images[i]」とかに変えたら大丈夫なはず

「matches」も同様で、一旦別の変数に「match.knnMatch()」の結果を入れて、それを「matches」にappendする必要があります

他にも間違ってるところがあります
自分でも探してみてください

[Manabi]

ご回答ありがとうございます。

Answer 1

試行錯誤の結果キーポイントと特徴記述子を複数画像でマッチさせることができました。
しかし画像を合成するとなると不具合が生じました。
以下がマッチングまで成功したプログラムです。

def  get_features(img):
    # 特徴点情報抽出
    orb = cv2.ORB_create()
    kp, des = orb.detectAndCompute(img, None)
    keypoints_drawn = cv2.drawKeypoints(img, kp, None, color=(0, 0, 255))
    description = des
    keypoint = kp
    return keypoints_drawn,description,keypoint

descript = []
keypoint = []
for i in range (len(image_path)):
    features = get_features(images[i])
    plot_images(images[i],features[0])
    descript.append(features[1])
    keypoint.append(features[2])
    #print(len(keypoint))
    #print(features[0])

bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
for i in range (len(image_path)):
    for j in range (len(image_path)):
        if j<i:
            matches = bf.match(descript[i],descript[j])
            matches_drawn = cv2.drawMatches(images[i],keypoint[i],images[j],keypoint[j],matches, None, matchColor=(0,0,255), flags=cv2.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
            plot_images(matches_drawn)
limit = 10
best = sorted(matches, key = lambda x:x.distance)[:limit]

for i in range (len(image_path)):
    for j in range (len(image_path)):
        if j<i:
            best_matches_drawn = cv2.drawMatches(images[i], keypoint[i], images[j], keypoint[j], best, None, matchColor=(0,0,255), flags=cv2.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
            plot_images(best_matches_drawn)
left_pts = []
right_pts = []
#print(keypoint)
for m in best:
    l = features[2][m.trainIdx].pt
    r = features[2][m.queryIdx].pt
    left_pts.append(l)
    right_pts.append(r)

しかし1ペアの画像をこのプログラムで動かしたときと以下のプログラムで動かしたときに上のプログラムでは画像を合成できませんでした。(下のプログラムでは合成できました。)
print文からキーポイントが異なるからではないかそれによりホモグラフィーが異なるのでそれが原因ではないかと考えましたがなぜ同じペアの画像を入力してキーポイントが変わってしまったのかわからなくて手詰まりの状態です。for文を用いる以外は同じプログラムになっていると思います。
このとこについてご存知の方がいらっしゃいましたら回答よろしくお願いします。

以下は2画像なら合成可能になっています。

orb = cv2.ORB_create()
kp_left, des_left = orb.detectAndCompute(left, None)
kp_right, des_right = orb.detectAndCompute(right, None)

keypoints_drawn_left = cv2.drawKeypoints(left, kp_left, None, color=(0, 0, 255))
keypoints_drawn_right = cv2.drawKeypoints(right, kp_right, None, color=(0, 0, 255))

plot_images(left, keypoints_drawn_left, right, keypoints_drawn_right)

bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des_left,des_right)
matches_drawn = cv2.drawMatches(left, kp_left, right, kp_right, matches, None, matchColor=(0,0,255), flags=cv2.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
plot_images(matches_drawn)

limit = 10
best = sorted(matches, key = lambda x:x.distance)[:limit]

best_matches_drawn = cv2.drawMatches(left, kp_left, right, kp_right, best, None, matchColor=(0,0,255), flags=cv2.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
plot_images(best_matches_drawn)

left_pts = []
right_pts = []
for m in best:
    l = kp_left[m.queryIdx].pt
    r = kp_right[m.trainIdx].pt
    left_pts.append(l)
    right_pts.append(r)

M, _ = cv2.findHomography(np.float32(right_pts), np.float32(left_pts))

dim_x = left.shape[1] + right.shape[1]
dim_y = max(left.shape[0], right.shape[0])
dim = (dim_x, dim_y)
warped = cv2.warpPerspective(right, M, dim)

plot_images(warped)

comb = warped.copy()
# combine the two images
comb[0:left.shape[0],0:left.shape[1]] = left
# crop
r_crop = 1920
comb = comb[:, :r_crop]
plot_images(comb)