異種画像を用いたCNNの構築は可能でしょうか

Question

機械学習を独学しております。

マルチラベルやマルチクラスの画像分類に関しては実装したことがありますが、
今回新たなテーマとして、異なる2種類の画像を入力とした回帰問題に取り組もうと思っています。
（イメージとしては「異なる2つの部位のMRI画像から生存率を求める」みたいな感じです）

調べてみたところ、マルチモーダル学習というものが近いような気がするのですが、
イマイチピンとこないというか、入力データをどのように組み合わせればよいのかが
漠然とした理解のまま深まっていかないため、教えていただけると助かります。
※解説されているサイトやサンプルコードのリンク等でも構いません

わからない部分がわからないため漠然とした質問となってしまい恐縮ですが、よろしくお願いいたします。
（質問の追記依頼等もお待ちしています）

Answer 1

動画の連続したフレームなので、「異なる2種類の画像」には相当しないかもしれませんが
論文まとめ：Unsupervised Learning of Depth and Ego-Motion from Video

Answer 2

一番かんたんな方法は2つの画像を横並びに並べたものを入力に加えることだと思います。
それかそれぞれの画像を別々にCNNモデルに入力して出力された特徴量をconcatenateして全結合層やSVMなどに入力して出力させるとかもあると思います。

Comments

[aoies]

コメントと間違えて回答が二回になってしまいました。すみません。