読唇術の機械学習方法

Question

やりたいこと

機械学習を使って、唇の動きで、「こんにちは」のような挨拶などを、リアルタイムで日本語に変えられるようなAIを作りたい。

質問

• 機械学習のどのようなモデルを用いればいいのか
• どのようにして学習用のデータを用意するのか
• どうリアルタイムで検出すれば良いのか

答えていただければ幸いです。

追記

決まった単語を認識できれば良くて、自由な文章を認識できる必要は無いです。

Answer 1

ざっくりとした質問なのでざっくりと回答になりますが、

• 機械学習のどのようなモデルを用いればいいのか

→よくある手書きの数字を認識するようなCNN等になるのではないでしょうか。

• どのようにして学習用のデータを用意するのか

→沢山の人(友達とか)にビデオの前で１語ずつ話して貰ってラベリングする。

• どうリアルタイムで検出すれば良いのか

→ラズパイにカメラを付けてエッジ側で推論させる？

すでに実現されているようですので、ご参考に。
手話を知らなくても大丈夫…機械学習による自動読唇術で音声なしのスムーズな会話が可能に

Comments

[taka2]

ビデオの前で1音ずつ話してもらってラベリングする
→唇の動きということは、幾つかの画像が連続していてその文字を認識するということですよね。そのような時間幅のあるデータをどのように扱えばよいのかがわからないです。
ラズパイにカメラをつけて推論させる？
→これも同様に、時間幅があるので、手書き文字の認識でも、一つの画像の中にたくさん文字があってそれを認識するような、”幅”のあるデータだと思うのですが、それをどのように取り扱えば良いのかがわからないのです。

また、リンクしてくださった記事にもあるように、前の文字なども影響させて、検出率を上げる、のようなことをしたほうが良いのでしょうか？

[taka2]

先行研究等を見ると、何枚もの画像を横につなげて１枚にして学習しているものもありますね

[nandymak]

時間幅のあるデータの学習として長・短期記憶（ちょう・たんききおく、英: Long short-term memory、略称: LSTM）と言う（RNN）アーキテクチャが有るようです。それに畳み込みを加えることで動画を分類できるようです。
画像認識と画像抽出のためのLong-term Reccurent Convolution Networks
http://neuralnet.hatenablog.jp/entry/2016/07/27/065031

＞前の文字なども影響させて、検出率を上げる、のようなことをしたほうが良いのでしょうか？
推論に関しても要件として「決まった単語を認識できれば良く」とあるので、ワンフレーズ毎に区切って喋って貰えば、畳み込みLSTMで対応できるのかなぁと思います。
自然言語処理のように自由な会話の解析はハードルが高いかと。

LSTM自体は初めて知ったのでこれ以上の回答は難しいですが、Convocational LSTMは検索でかなり引っかかるので、要件にマッチしそうであればもう少し詳しくお調べください。

[taka2]

文字と文字の切れ目はどのように認識しているのでしょうか？

[nandymak]

「決まった単語を認識できれば良く」という要件なので、まずは一言ずつ区切ってしゃべってもらうモデルから作成してはいかがでしょうか？

[taka2]

一言ずつというのは、1文字ずつということですか？

[taka2]

リアルタイムに文字を認識するということは、その文字を言ったときにその文字が出力されて、次の文字を言ったときに次の文字が出力されて...ということですよね。

[nandymak]

「決まった単語を認識できれば良く」なので、「みぎ」と唇を動かせば「みぎ」と返すように単語単位で学習させればよいかと思います。「み」「ぎ」のように分解して50音を学習する方法もあるかと思いますが、次に来る音によって唇の動きが微妙に変わると思うので難しいと思います。
推論の時に「み」「ぎ」のように１音づつ発話してもらえれば大丈夫かもしれません。
機械に対してコマンドを発行するイメージかな？と思って回答しています。
「ひらく」「とじる」「とめる」「みぎ」「ひだり」「まえ」「うしろ」とかUFOキャッチャーに指示するみたいな。

[taka2]

そうそう、雑音の多い場所で何かに指示するようなことがしたかったんです。確かに単語単位の学習のほうが良さそうですね。そのときには、何も言わないというのも学習させたほうが良いのでしょうか...

[taka2]

opencvのカスケード分類機で、唇周辺の画像を切り取って、動体検知で唇が動き出したら認識し始めるような構造にしようと思っているのですがどうでしょうか？

[nandymak]

もう私の回答できるレベルを超えてきました。
すでにアイデアが浮かんでいるのであれば、実装に移行されては如何ですか？これ以上は机上の空論になりそうです。
ここ(teratail)では具体的なプログラミング以外の質問は歓迎されないようなので、このまま続けると悪い評価が付きそうです。

[taka2]

わかりました。