パノラマ画像のブレンド処理について

パノラマ画像の生成を目標としており、
ブレンド処理を行う際の技術で何かいいものがないか探しています。
何か参考になる文献や、技術はないでしょうか。
本でも構いません。

今まで試したのは
二枚の画像をブレンドする際に、
１、足し合わせて画素値の平均をとる
２、片側の画像をトリムする
を試しましたが
１→二画像間のズレが目立つ
２→繋ぎ目のズレや輝度変化が目立つ

行動規範の内容に同意します

回答3件

ベストアンサー

第一歩としてストリートビューや、microsoft image composite editorのようなレベルのパノラマ画像の生成をクリアしたいと思っています。

Microsoft ICE(Image Composite Editor)は相当に高度な画像処理を行っているはずです。第一歩とするにはあまりにハードルが高すぎると思いますが、関連情報がありましたのでご参考までに。

https://social.microsoft.com/Forums/en-US/889b4450-6666-4232-abe6-746c2d199677/ice-algorithm?forum=ice

ICE consists of two main parts. Alignment and compositing.
The alignment is done based on the "image features" described here: http://research.microsoft.com/apps/pubs/default.aspx?id=79807
The compositing is done via the techniques in this paper: http://grail.cs.washington.edu/projects/photomontage/

ブレンド処理を行う際の技術で何かいいものがないか探しています。何か参考になる文献や、技術はないでしょうか。

例えば下記資料では高度なトピックを扱っているようです。

Panoramic image stitching
Image Stitching（イリノイ大学の講義資料）
Image Alignment and Stitching: A Tutorial（ICEを開発したMicrosoft Research所属の著者による）

現在よりシームレスなパノラマ画像の生成を目標としており、
今まで試したのは二枚の画像をブレンドする際に、
１、足し合わせて画素値の平均をとる
２、片側の画像をトリムする

複数カメラ／複数視点で撮影した画像群からのパノラマ合成を行う場合、複数画像間での重複部分をなるべく重ね合わせる必要があります。しかしながら、奥行きがある被写体では視差(disparity)による遮蔽(occlusion)が生じるため、ピクセル単位での一致が原理的にできません。

特殊なケースとして、奥行きのない平面被写体（例えば壁画）を撮影した画像群であれば、理論上は線形変換のみでピクセル位置を重ね合わせることが可能です。風景写真のような遠景のみ画像であればこれに近い条件となり、ピクセルブレンド処理のみでもそれなりに綺麗なスティッチ結果を得られます。

一方で、近景に人物や物体が写っているケースでは単純ピクセルブレンド処理では対処できません。異なる元画像群から選択的に画像領域を切り取ったり、興味被写体（人の顔など）を避けたつなぎ目(seam)を探すといった、ある種の「ごまかし」映像を生成する必要があります。より「自然な」合成映像を得るためには、機械学習の利用もこの範疇に入ってくるかと思います。

投稿2018/11/30 14:15

編集2018/11/30 15:03