C#　音声認識でハイライトを分けたい

C#　音声認識に取り組んでいます。

テキストと音声認識結果があっていたら、その語句を黄色。違っていたらその語句または類推する語句を赤にしたいと考えております。

現在、正解の場合のみ黄色でハイライトはできているのですが、間違っていたらその語句が赤くハイライトにならない【読もうとしていた一個前の語句がハイライトされてしまう】という現状を改善したいです。

テキストと音声が一致していたらcurrentSelectionStart,currentselectionLengthを用いています。
次の間違っている語句をforwardSelectionStart,forwardSelectionLengthを用いようと思っていますがなかなかうまくいきません。

以下が、ソースコードです。

C#
1//音声認識
2        SpeechRecognitionEngine recognizer = new SpeechRecognitionEngine(new System.Globalization.CultureInfo("ja-JP"));
3
4        private void Form1_Load(object sender, EventArgs e)
5        {
6            recognizer.SetInputToDefaultAudioDevice();
7            recognizer.LoadGrammar(new DictationGrammar());
8            //連続認識の開始
9            recognizer.RecognizeAsync(RecognizeMode.Multiple);
10            recognizer.SpeechRecognized += new EventHandler<SpeechRecognizedEventArgs>(Recognizer_Recognized);
11        }

C#
1//　認識とテキスト一致させてハイライト
2private void Recognizer_Recognized(object sender, SpeechRecognizedEventArgs e)
3        {
4            //色を変える文字列
5            string searchWord = e.Result.Text;
6            
7
8            //現在の状態
9            int currentSelectionStart = richTextBox1.SelectionStart;
10            int currentSelectionLength = richTextBox1.SelectionLength;
11
12
13            //次の語句の状態
14            int forwardSelectionStart = richTextBox1.SelectionStart;
15            int forwardSelectionLength = richTextBox1.SelectionLength;
16
17
18            int pos = 0;
19            richTextBox1.SelectAll();
20            richTextBox1.SelectionBackColor = richTextBox1.BackColor;
21
22            for (; ; )
23            {
24                // 文字列を検索して、選択状態にする
25                pos = richTextBox1.Find(searchWord, pos, RichTextBoxFinds.None);
26                if (pos < 0)
27                {
28                    break;
29                }
30                //背景色を黄色にする
31                richTextBox1.SelectionBackColor = Color.Yellow;
32                pos++;
33            }
34           
35            //選択状態を元に戻す
36            richTextBox1.Select(currentSelectionStart, currentSelectionLength);
37
38
39            if (e.Result.Text == "あめんぼ"|e.Result.Text == "アメンボ")
40            {
41                richTextBox1.Select(0,4);
42                richTextBox1.SelectionBackColor = Color.Yellow;
43            }
44  //認識が違ったら赤文字で該当語句【前回の語句の次】を表示したい
45            else if (e.Result.Text != richTextBox1.Text)
46            {
47                richTextBox1.Select(forwardSelectionStart, forwardSelectionLength);
48                richTextBox1.SelectionColor = System.Drawing.Color.Red;
49
50            }

「あめんぼ　あかいな」のようにあめんぼが認識され、あかいなを読みたいが違ったから赤色ハイライトのようにしたいです。お願いします。

Zuishin

2018/08/23 08:16

同様の質問が解決していません。またコードブロックを使ってください。

papinianus

2018/08/23 08:21

どういうものを作りたいのかにもよりますが、"あめんぼ"の次に"あかいな"を読み*たい*かどうかは、人間がどうしたいかの意図が分からないので無理です。「、」で休止するとして、「あめんぼ、あかいな、あいうえお」と読み*たい*のか、「あめんぼ、あかいなあいうえおかきのき、くりのき」と読み*たい*のかは事前には分かりません。表示したとおりの発話を求めるのであれば、単語カードみたいに順次繰り出していって、音と文字があっていたら○ちがっていたら×を出すような仕組みにしたほうがいいと思います。繰り返しになりますが「あめんぼ」の次に「貝(かい)」を認識したとき、あかいなの「かい」を黄色にすべきか「あかいな」全体を赤くすべきかは、ご提示の仕組みでは判断できません。

syo46no

2018/08/23 08:27

”あめんぼ”の次に”あかいな”　を読んで違ったら赤くハイライト　にしたいです。

Zuishin

2018/08/23 08:32

同様の質問が解決していません。またコードブロックを使ってください。

Zuishin

2018/08/23 08:32

同様の質問が解決していません。またコードブロックを使ってください。

Zuishin

2018/08/23 08:32

同様の質問が解決していません。またコードブロックを使ってください。

Zuishin

2018/08/23 08:33 編集

どうようのしつもんがかいけつしていません。またこーどぶろっくをつかってください。

Zuishin

2018/08/23 08:58

あなたの今までの質問がそのままです。解決してから新しく質問してください。

syo46no

2018/08/23 09:00

すみません、失礼しました

行動規範の内容に同意します

回答1件

ベストアンサー

「あかいな」を読んだかどうかは分かりません。
読んで誤認識されたのか、全く別の発話をしたのか、人間の意図は分かりません。

もし、4文字ずつ、発話せよ、ということなら、forwardSelectionLengthを変数にする必要がないです。常に4にすればよいのですから。もしそうならforwardSelectionStartは常に+4していけば求まります。

csharp
1           //現在の状態
2            int currentSelectionStart = richTextBox1.SelectionStart;
3            int currentSelectionLength = richTextBox1.SelectionLength;
4
5
6            //次の語句の状態
7            int forwardSelectionStart = currentSelectionStart + 4;
8            int forwardSelectionLength = 4;
9

発話から、単語を探す、ということと
(→alexaやsiriやgoogleアシスタントが既知の応答動作から動作を選択すること。こうしたプログラムは"不正解"ではなく"聞き取れませんでした"と返します)
読まれるべき単語(正解)があって、それに合っているかどうか正誤を判断するのと
(→日本語の学習者に発音の練習をさせているようなこと)
では作るものが全く違います。

正誤が言いたいなら、文章全部を出す意味はないですし、探す(find)という動作をするのも変です。
一方で「次」や「正解」があるのに、他方で発話を探すのは動作として辻褄があいません。
(あめんぼを認識した前提で、currentをfindする想定のようですが、「赤」を最初に認識してしまった場合、あかをfindして見付けてしまうと、動作として破綻すると思います)

投稿2018/08/23 09:14

papinianus

総合スコア12705