0
0
全天球映像や360度カメラに対する顔認証，個人識別機能について
現存するシステムや，研究で全天球カメラ映像に対して顔認証をして個人判定をしてその結果をVRなどで視聴するようなものはあるのでしょうか．
背景、状況
全天球映像(Equirectangular変換後)に顔認証個人判別機能を施し，あらかじめ用意しておいたその人の情報を画面上に表示する，みたいなものを小規模研究の範囲で実装してみたいと思ったのですが，Equirectangular映像から個人判定をするような研究があまり見当たらず，皆さんにお聞きしたいです．それとも通常の機械学習をはめ込んでもそれほど制度は落ちないのでしょうか．
聞きたいこと
- 全天球や360度カメラ映像に顔認証を施すという先行研究はないか
→今の所，検出という観点ではいくつかあるが，顔照合などは希薄
回答8件
#1
総合スコア11658
投稿2023/06/30 09:58
その方面の実情は知りませんが……
あえて像の歪みがでかい投影図法の画像を作ってその上で認識的な処理をする，という話ならば，精度面で相応に不利になるんじゃないかな，と素人的には思えます．
（ある程度顔っぽいところのあたりをつけたら（←まぁそれをどうやるのかはわかりませんけども），その方向の視野の歪の無い絵を作りその上で認識するみたいな形だと処理時間の面で問題が出るとかそういう話なんですかね）
#3
退会済みユーザー
総合スコア0
投稿2023/06/30 15:39
Equirectangular映像から個人判定をするような研究があまり見当たらず
これはfanaさんの読みの通りと思います。「わざわざ歪みの大きい画像を使って個人が分かるほどに顔部分の切り出し（何px必要か不明、例えば256[px]だと）ができるような解像度を確保」しようとするとフルHDじゃ足りないくらいの解像度が必要（根拠なし・カン）、だとかそういう話になってくると思います。
一般論ですが、360°カメラの性能は車載カメラを想定した性能のようなものが多く、「高解像度やレンズの意図していない歪身の少ないレンズのようなもの」より「解像度を犠牲にしてでもコンパクトに、レンズの品質が落ちてもコンパクトに」というような、コンパクトであることが正義なハードウエアが多いはずです。
となると、
個人判定をして
が、やりたいことであって、
顔認証をして
が、やりたいことを実現する手段（別にやりたいことができるのであれば顔認証でなくてもいい）であれば、もっと別の手段を取った方が良いです。
例えば、動きから個人を割り出す方法も検討に上がります。
もう少し「やりたいこと」と「実現手段」を仕分けてみてはいかがでしょうか？
#4
退会済みユーザー
総合スコア0
投稿2023/07/02 01:09
それなりに精度のある物体検出の方法としては現在大きく分けて2通りあります。
- FCNNのように、画像全体から「どこに」を抽出して、その後に「何が」を判定
- YOLOやSSDのように画像全体から「何が」「どこに」を取り出す
例えばですが、1の方法の例では
2020年のリコーの論文のFig.3ではHOGやSVMを使って人の顔っぽいところを抽出しています。
2の方法については、例えばObject Detection in Equirectangular Panoramaの論文ではYOLOをベースにした方法で人を検出しています。これのいいところは、githubで公開されているので、サンプルで味見をして使えるか使えないか評価できる点ではないでしょうか。
ただ、#3に書いた通り、ここまでの処理ができたところで、「どこに」を表した画像をくりぬいたに過ぎず、「認証」部分が必要になってきます。
あとは認証するときに、
- 本当に顔が必要か（後ろを向いていたら認識できないのはどうするのか、顔認証できるほどの解像度があるのか）
- 動いている人を認識したいか（姿勢で人の癖を見抜くのか、認識した人にタグをつけてカルマンフィルタで追跡したいのか）
課題も解決策も色々考えられます。
やはり、「全天球映像や360度カメラに対する顔認証，個人識別機能」という課題設定が荒いように思います。
360°の画像から領域を抽出する->できるが、そのテーマだけで精度向上が課題となっている
画像から（姿勢や顔で）ある個人を認証する->できるが、そのテーマだけで精度向上が課題となっている
360°の画像からある個人を認証する->!?
#5
#4
fourteenlength 様
詳しい文献まで引用していただき，ありがとうございます．
fourteenlength様のおっしゃる通り，現状では，全天球映像に対し，検出はできても認証が厳しいという見解があり，
なおかつ”画像から（姿勢や顔で）ある個人を認証する->できるが、そのテーマだけで精度向上が課題となっている”という観点でも，全天球映像に顔認証を施すメリットはあるのかという点は詰めなくてはならないと考えております．
個人的には，全天球とVRで視野共有というのはよく見る故，そこに対し何か画像処理を施して，VR視聴者側から視野共有元へフィードバックが送れないかと考え，その一例として顔認証を考えておりました．（もし，全天球映像に対し顔認証処理を施すような研究がなされていない，または取り組み段階であるならばそこにも焦点を当てて，新規性を追求していこうとも考え．．．）
貴重なご意見ありがとうございました．
#6
総合スコア11658
投稿2023/07/03 01:18
編集2023/07/03 01:42個人の認証ってどうやるのかは知りませんが……
撮像装置の視野の広さ（全天周）自体は新規性と呼べるような要素とは思えない感みたいな．
（ただの 「顔認証を用いたアプリケーション」 というだけになるのでは）
「従来の/今主流の(?) 認証方法というのはこういうやつで，それだと 何らかの理由で 全天周ではうまくできない」とか「やろうとすると××になっちゃう」みたいな話がまずあって
→ その 何らかの理由 の部分を打破できる新しい方法論を～ という話になり得るのか否か，っていう．
あるいは，全天周みたいな広角視野の映像に対しては一般にはその一部視野を歪除去した画像を用いるから処理が面倒とか遅いとか(←例ですよ．本当にそうなのかは知りませんよ)いうような事柄があって，それに対してそのようなステップ無しに撮像装置が出力してきた厳しめな歪のある画像上で直接的にどうのしてもまともな精度が～ みたいな方向とか？
いずれにせよ「新規性」と言いたいのであれば
- 「従来法でもそんなに解像度は要求しないよ」ってことなら解像度の線は意味ない．
- 「従来法でも変形に強いよ（←画像から認証するのならば，相応に変形に耐性があるかと）」ってことなら像のちょっとした歪の話は意味ない．
- 既存手法が生の撮影データから一発画像処理（歪除去とか）を挟まないと使えないのだとしても「そんな程度の計算コストはどうでもいいよね」みたいな世界なら，「××な画像の上でできるよ」って言ってもどうなのか？
みたいな点で十分にリサーチする必要があるかと．
本件が「興味本位とかでやってみるだけ」みたいな話なのか，それとも「研究 として外界に(?)アウトプットする想定」なのか？ っていう，そこ次第で方向が全然違う話になる気が．
（「新規性」とかいう言葉が出てきているので…）
前者ならば既存の寄せ集めだろうが動かしてみれば良い的な話になるけど，後者の場合だとそのような「お遊び」をしていても仕方ないので……
#7
総合スコア28660
投稿2023/07/04 04:24
画像加工ソフトには魚眼レンズ系の歪みを与えるフィルターがあります。
顔が検出できるのであれば、そこを中心としてその逆のフィルターをかければ認識しやすくなるのではないかと思います。
#8
総合スコア38266
投稿2023/07/04 06:12
何のひねりもたぶん研究テーマ的にも面白みもない意見ですが…
とりあえず「全天球」というのはおいといて、カメラ画像に写り込む人に協力してもらえるのであれば、その人に、何か分かりやすいシルシをつけてもらうのが簡便かと思います。
身近な例でいえばスポーツでのゼッケン、背番号や車のナンバープレートのようなものです。
たとえば、ARマーカー様の印をつけた帽子なり名札をつけてもらうと位置と個人判別しやすいと思いますし類似研究もありそうです。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。