Q&A
ちょっとよく分からないのですが、1フレームごとにそのフレームの情報だけから1文字の出力が出るのですか? それとも直前の複数のフレームの情報を総合して1フレームあたり1文字の出力が出るのですか?
状況を見る限り後者ではないかと思うのですが、その場合機械学習側を修正してフレームごとでなく1回の提示に対して1文字が返るようにするのが先かと思うのですが。
機械学習側に手は入れられないのですか?
前提・実現したいこと
前提
PythonとMediaPipeのハンドトラッキング機能を使って，指文字認識システムを作っています．
状況
フレームごとに手の形を読み取って，どの指文字に近いかを認識する機械学習モデルを構築し，「こんにちは」と表現したら，下のようにフレームごとの認識結果が足された文字列（音列）が返ってくるシステムを作りました．
---------こここここここ------んんんんんん------------ににににににに-------を-ちちちちちちちちち-----ははははははははははははははは----
※"-"は非指文字記号
実現したいこと
音声認識が音素列を単語辞書を使って単語に変換するように，音列を単語に変換したい．（質問主に音声認識の知識は無いです）
単語辞書の仕組みや使い方，応用の仕方が学習できるサイト，もしくは全く別のアプローチから単語に変換する方法を，ご教授頂けますでしょうか．
試したこと
同じ要素が５個以上続いたら１つの要素としてみなす・非指文字記号は削除
上記の文字列ならば，-こ-ん-に-ち-は-->こんにちはと正しく変換されます．
ただし，上記の文字列は使用者がゆっくり指文字を表現した場合のもので，表現の速度によっては，---------ここ------んんん------------ににににに-------を-ちちちちちちちちち---ははははははははははははははは----というふうに，同じ文字の続く区間が短い場合があり，この場合---に-ちは->にちはと誤変換されてしまう．
また，「を」のように認識ミスが含まれることがあるため，最終的には認識ミスを除外や，予測変換する工夫も必要になります．
現フレームと直前の4フレームを合わせた，5フレームの情報を総合して，現フレームに対して１文字の出力が返ってきます．これを毎フレーム繰り返しています．
機械学習側に手を入れることは可能ですが，この指文字認識するモデルもハンドジェスチャー認識のオープンソースコードを参考に作ったもので，機械学習に関して深い知識はまだ持ち合わせていないです．１回の提示に対して１文字を返すには，どのような技術が関係してきますでしょうか？
なるほど、機械学習の方は既存のものを使っていて深くは理解していないということですね。納得です。
すみませんが詳しいことは私には分かりません。機械学習側を理解しているならそのようなことが可能そうなのにやっていないのはなぜかなと気になっただけですので。
承知しました．機械学習側を更新することも視野に入れ，１回の提示に対して１文字に返す方法について，調査してみます．
参考になる話をさせて頂き，ありがとうございます．
回答1件
0
ベストアンサー
手軽にやるなら、こういう感じです。
python
1>>> import re 2>>> text = '---------こここここここ------んんんんんん------------ににににににに-------を-ちちちちちちちちち-----ははははははははははははははは----' 3>>> print(''.join([c[0] for c in re.split(r'-+', text) if len(c)>1])) 4こんにちは
投稿2021/11/09 02:44
総合スコア24670
あなたの回答
tips
プレビュー
