Q&A
http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_video/py_lucas_kanade/py_lucas_kanade.html
の「Lucas-Kanade法」とか
pythonで時系列的に並ぶ2次元画像を3次元処理を行いたいと考えてます。
今現在、物体に対して特徴点を取っている段階です。
私の考えでは、一つ一つの画像に対して特徴点の抽出を行い、それぞれの隣り合う画像の近い座標を繋げていきたいと考えています。
聞きたいことは二つあります。
特徴点抽出後の手法です。
隣り合う画像の近い画像を繋ぎ合わせる手法はないか。
それを3次元化する方法はないか。
ただ、やり方に苦戦をしている状況です。
なにか、参考にできるURLやアドバイスがありましたら、教えていただきたいです。
ちなみに、医用画像でも可能ですかね？？
特徴点の抽出ができるかどうかでしょうね
「Lucas-Kanade法」では、これでやります
http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_feature2d/py_shi_tomasi/py_shi_tomasi.html
すみません、何度も。
オプティカルフローで3次元にできるものなのでしょうか
> 一つ一つの画像に対して特徴点の抽出を行い、それぞれの隣り合う画像の近い座標を繋げ
までです
それのヒントを聞いてる質問ですよね？
3次元にするところじゃなくて
自分の中では、二つとも聞いたつもりでした。。
編集して変えておきます。
アドバイスありがとうございます。
質問の意味を勘違いしてたみたいです
「3次元化したい」ということから、
> 時系列的に並ぶ2次元画像
を勝手に、X線CTの断面画像のセットのような、(2次元画像をX, Yとして)Z方向に積み重なってる画像を想定して、そこから
http://blog.media.teu.ac.jp/2016/04/xct-2c8e.html
のカニの3DCGのようなものを作成したいのだと思って、上のコメントを書きました
Z方向に隣り合ってる画像は、だいたい同じ位置に同じような形・サイズのものがあるけど、微妙に形・サイズ・位置が異なっていて、Z方向に隣り合ってる画像間で「同じもの」の「同じ特徴点」のX, Yの位置ずれを知って、その情報を使って最終的にたくさんの画像から写ってるものの3次元形状を再現したいのかなと思い、
> 隣り合う画像の近い座標を繋げて
が、Z方向に隣り合ってる画像間で「同じもの」の「同じ特徴点」のX, Yの位置ずれを知る、という意味だと思って、それをオプティカルフローで知ることができるかも、と思って、上のコメントを書きました
> 隣り合う画像の近い座標を繋げて
が、fourteenlengthさんが回答に書いてるように、画像を2次元のままつなぎ合わせる「パノラマ合成」のことでしたら、私のコメントは全く的外れです
失礼しました
【追記】
勘違いしてなかったみたい
3次元化した時に残したい(見せたい)ものと消したい(見えないようにしたい)ものを選ばないといけないと思います
https://www.jstage.jst.go.jp/article/hikakuseiriseika/24/4/24_4_160/_pdf/-char/ja
の「２－６. 立体構築」に書かれてる「輪郭の指定」的なこと
回答2件
0
ベストアンサー
投稿2021/11/25 09:37
総合スコア7653
0
聞きたいことは二つあります。
以下の2つですね？
特徴点抽出後の手法です。隣り合う画像の近い画像を繋ぎ合わせる手法はないか。
それを3次元化する方法はないか。
特徴点抽出関連の中でも2つの話題が触れられていますね。1),2),3)としましょう。
1) 特徴点抽出
特徴点抽出で有力なのは、AKAZEとSIFTです。いろいろな手法がありますがこの二つのどちらかで普通は事足りると思います。画像の特性（？）によって向き不向きがあるので、都合の良い方を使えばいいはずです。※SIFTは特許が切れて今はCONTRIBじゃない方の無印OpenCVに移行され標準パッケージに含まれています。
2) 繋ぎ合わせ
隣り合う点のつなぎ合わせは、パノラマ合成(英語だとstitching)の技術で行けます。
3) 三次元化
こういう技術をSfM(Structure from Motion)だとかSLAMと呼びます。SLAMはLiDARのものが主流なので、画像からであればVisual SLAMみたいな感じで検索すると良いと思います。
がっつりやりたければ、ちょっと古いですが実践コンピュータービジョンがイイと思います。
投稿2021/11/24 21:48
編集2021/11/24 21:55
退会済みユーザー
総合スコア0
ご丁寧にありがとうございます！！
ちなみに、SfMかSLAMは、腹部CT画像でもいけると思いますか？？
質問者さん
CT画像を3次元化するというのは、もしかしたら、
http://blog.media.teu.ac.jp/2016/04/xct-2c8e.html
のカニの3DCGみたいなもの(の臓器版)を作りたい、ということですか？
一度座標に関しては自分で考えたことなので無視していただいても結構です！！
そのような感じです！！
点群で3次元に見せる手法でも構わないです！
質問者さん
> SfMかSLAMは、腹部CT画像でもいけると思いますか？？
https://www.mod.go.jp/atla/center/slam.html
https://www.slideshare.net/MasayaKaneko/slamorbslam
とかに書かれてるように、「同じ物」を「別の視点」から撮影した複数の画像を解析するものです
CT画像は、同じ臓器だけど別の断面ですから、「同じ物」と言えるのかどうか
あと、CT画像は同じ視点から異なる距離の断面を見てるような感じなので、「別の視点」とは言えないような
【追記】
https://aicam.jp/tech/sfmmvs
でやってるみたいにして、CT画像のセットからではなく、腹部をメスで切り開いて臓器が外から見える状態にして、それをいろんな方向から撮影した画像を使って3D化するのなら、できると思います
【追記2】
腹部を(自主規制)する場合は、撮影する複数視点が分かってるのなら、SfM/SLAMをする必要は無いです
普通に、ステレオ撮影の原理で計算できます
手持ちのカメラで、カメラの位置を変えながらパシャパシャ撮影した場合は、視点が分からないのでSfM/SLAMをします
> でやってるみたいにして ...(中略)... 腹部をメスで切り開いて臓器が外から見える状態にして...
（怖くてリンク先見れない）
fanaさん
そういう意味ではないです
すみません
そのURLでは、壁の凸凹を3D化してます
手法の説明として、挙げました
> そういう意味ではないです
誤読失礼しました．
---
とりあえず「CT 三次元」とかなんとかいう言葉で検索してみるとかした方が良いのではないかと見受けます．
（CTって，サンプリング間隔：各画像が撮像する断面の間の距離 がうまいこと一定になる物なのかどうか知りませんが…）単純に積み上げて濃度値を持つボクセルだとして扱う感じじゃダメなんですかね？
> 点群で3次元に見せる手法でも構わないです
とかいう話であれば，あとはボクセルデータってどうやって表示するんだろう？っていうレンダリングの話を探してくれば良いのかもしれませんし．
> 各画像が撮像する断面の間の距離
は、調整するみたいです
https://www.jstage.jst.go.jp/article/hikakuseiriseika/24/4/24_4_160/_pdf/-char/ja
の「２－５. スケール調整」
> ボクセルデータってどうやって表示するんだろう？っていうレンダリングの話
たとえばこんなのですかね
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=33302&item_no=1&attribute_id=1&file_no=1
こちらにも簡単な解説が
(脳の3DCGがあります)
http://delta-mat.ist.osaka-u.ac.jp/DeltaViewer/DVCases/MRI/files/Poster.pdf
お二人とも貴重なご意見ありがとうございます！！
少し自分の今ここまでできればOKというところがあって簡単に書くと
特徴点をとる→2次元の特徴点を3次元的に並べたい(3D点群データを作りたい)
としか思っていなかったので、参考になりました！！
あなたの回答
tips
プレビュー
