画像の前処理 位置補正

Question

CNNを用いて画像認識をしたいと思っています。
その前に行う前処理で、人の位置を画像に対してすべて同じ位置になるように
処理したいのですが、以下の写真のようになってしまいます。

書籍で勉強したのですが、画像の前処理について載っていなかったので
簡単なことなのかもしれませんが分かる方は教えて頂きたいです。
コードは、サイトに載っているものをそのまま使わせていただいてます。

よろしくお願いします。

filename_li = ["image3.jpg", "image4.jpg", "cv.jpg"]
img_li = []
for i in filename_li:
    img = cv2.imread(i, 0)    # 第二引数を 0 にすることでグレースケールで読み込む
    img_float = np.float32(img)    # cv2.phaseCorrelate で指定されている型に変換
    img_li.append(img_float)
    

dxdy_li = []
for img in img_li[1:]:
    d, etc = cv2.phaseCorrelate(img, img_li[0])    # d にx方向およびy方向のズレが格納されている
    dx, dy = d
    dxdy_li.append([dx, dy])
    
rows, cols = img_li[0].shape
img_after_li = [img_li[0]]
for dxdy, img in zip(dxdy_li, img_li[1:]):
    dx, dy = dxdy
    M = np.float32([[1, 0, dx],[0, 1, dy]])
    img = cv2.warpAffine(img, M, (cols,rows))
    img_after_li.append(img)
    
fig = plt.figure(figsize = (6, 6))    

subplot_li = [321, 323, 325]
for subplot, img in zip(subplot_li, img_li):
    ax = fig.add_subplot(subplot)
    ax.imshow(img)

subplot_after_li = [322, 324, 326]
for subplot_after, img_after in zip(subplot_after_li, img_after_li):
    ax = fig.add_subplot(subplot_after)
    ax.imshow(img_after)

plt.show()

Comments

[jbpb0]

> コードは、サイトに載っているものをそのまま

サイトってどこですか？

[退会済みユーザー]

記載していなくてすいません。
https://lp-tech.net/articles/SSUMl

[jbpb0]

人物なら、このあたりに書かれてる手法の方が、背景とかあまり選ばないと思うので、確実かも
https://kitakantech.com/hog-svm/
https://ameblo.jp/javaee7/entry-12397158474.html
https://iatom.hatenablog.com/entry/2020/11/01/152120

Answer 1

質問の画像の左の3枚をそれぞれ切り出して、質問のコードを実行したら、そんな変な結果にはなりませんでした
背景とか、構図が単純だからですかね
(質問の画像から手動で切り出したので、周囲が少し切れてます)

Comments

[jbpb0]

画像の周囲の数字を見るとわかりますように、質問の画像から切り出した画像の画素数はとても少なく、質問者さんが実行した状態と比べて、画像の細部のディテールが失われています
もしかしたら、それが幸いしているのかもしれません
ダメ元で、画像をリサイズして画素数を減らしてみたら、いかがでしょうか？

[退会済みユーザー]

2枚で画像をリサイズして画素数を減らしたらできました。ありがとうございます。ちなみにこの方法でフォルダに入っている画像すべてやりたいとなった場合どのようにすればよいのでしょうか。

[jbpb0]

> フォルダに入っている画像すべてやりたい

それは、この質問の内容とは別のことなので、別の質問にしてください
質問の題名にそのことを書けば、詳しい人が教えてくれると思います
ただし、自分なりにどうすればいいのか考えて、試したこととその結果は書いた方がいいです

Answer 2

phaseCorrelate は、ほとんど同じ画像同士に対して使う機能なので、ご提示のような全く違う画像同士では使えません。

Comments

[退会済みユーザー]

全く違う画像同士でできるやり方をもし知っていたら教えて頂きたいです。

[yuki23]

全く違う画像同士で「人物」という抽象的な物体を抽出するということは、既に画像認識ができているということです。しかしこれは、画像認識をしたいという要求と矛盾します。
通常はこのような前処理は、人間の眼を使って手作業で行います。