予測結果で１単語しか取得できない

Question

予測結果で１単語しか取得できないです。

results = model.predict(([inputs_test, queries_test]))

とコードを書き、予測を行いました。inputs_testとqueries_testの両方とも文章です。
resultsは

[  3.21644141e-19   3.78001817e-19   3.39815929e-19   3.40177768e-19
   3.60394786e-19   4.06273790e-19   3.39361238e-19   3.24065453e-19
   4.41847985e-19   2.93369856e-10   1.13723978e-07   1.50309251e-10
   6.48446644e-11   3.56832533e-19   3.52974097e-19   9.99999881e-01
   4.44034430e-19   3.08016865e-08   4.01408857e-19   3.11011742e-19
   3.21737405e-19   2.83691905e-19]

のような配列です。

val_max = np.argmax(pred_results[n])

for key, val in word_dct.items():
    if val == val_max:
        pred = key

print(pred)

とサンプルコードを見ながら結果の予測を行なったのですが、これだとprint(pred)で１単語しか出力できません。

resultsの結果を使って、入力した文章の予測結果を文章形式で出力したいのですが、どのようにコードを書けばいいでしょうか？

ちなみに、参考サイトはこちらです。
https://github.com/priya-dwivedi/Deep-Learning/blob/master/qa_chat_bot/memory_network_q1.py

Answer 1

これだとprint(pred)で１単語しか出力できません。

条件が当てはまる度に、predが上書きされているからです。

---

ジェネレータを上手く使うのが最善ですが、如何せん慣れるまでは分かりづらいです。
ですので、ここではリストに放り込んでいく方法を紹介します。

val_max = np.argmax(pred_results[n])

preds = []
for key, val in word_dct.items():
    if val == val_max:
        preds.append(key)

print(preds)

これなら、結果をリストとしてまとめて受け取れます。

Comments

[taiyo2017]

ありがとうございます。提示していただいたコードを書きましたが、１こしか取れないのが変わりませんでした。おそらくnp.argmax(pred_results[n])　で１つの値に絞っていることが原因のようです。。。もしpred_results[n]でヒットした全ての文字を取得する方法をご存知でしたらお願いします

[LouiS0616]

valがpred_results[n]に含まれる場合、ということでしょうか？

[taiyo2017]

はい、そういうことです

[LouiS0616]

それなら、条件式 val == val_max を val in pred_results[n] に置き換えれば良いのでは。

Answer 2

まず前提として、これはQuestion Answeringの問題で、質問文に対して相応しい回答を1単語で返すシステムですよね。
学習に使うデータもそうなっています。

1 John travelled to the hallway.
2 Mary journeyed to the bathroom.
3 Where is John?        hallway 1

クエリは文章ですが回答は単語ですからこのデータからどう学習しても文章ででてくるはずはありません=文章ででてくるような学習ができるはずはありません。

提示されたコードとは別のデータを用意したのでしょうか? そうだとしてもモデルを設計しなおさない限り学習すらできなかったはずです。どうなっているのでしょう?

---

pred_results[n]はn番目の問題の答えを全部の単語に対して確信度(それらしさ)を収めたデータです。
np.argmax(pred_results[n])は確信度が一番高い単語のインデクス値です。
ここからvocab[val_max - 1]で単語が取れると思うんですけど、なんでわざわざループで調べてるんでしょうか? という感じのコードですね。

Comments

[taiyo2017]

はい、データは別のものを使いました。
John travelled to the hallway.
Mary journeyed to the bathroom.
・
・
・
のような文章のみのデータを学習させました。
学習はエラーは出ずに終わりましたが、モデルを設計する必要がありますか？

[taiyo2017]

データ読み込みで分かち書きしたりするロジックのところはコードを書き換えていますが、それ以外は基本urlのコードを使っています。初心者質問で申し訳ないのですが、今回目的の文章を生成する、ということを行うためにはコードを書き換える必要があるのでしょうか？

[quickquip]

論文の図とコードを数分読んだだけですが、Predicted Answerは1×Vの行列(Vの列ベクトル)ですから1単語しか予測してないですね。このモデルは1単語を予測する（正確には全単語の確信度を計算する）様になってます。

[quickquip]

「文章のみのデータを学習させました。」とのことですが、モデルの出力が1×V行列なのでそれと同じ次元の正解データを用意しないと学習できないわけです。それはどうしたんでしょう? というか何を学習させたんですか?

[quickquip]

>今回目的の文章を生成する、ということを行うためにはコードを書き換える必要があるのでしょうか？ コードというかモデル自体設計し直しと思います。回答文をエンコードする層を後ろに付けて学習させて、予測結果ベクトルから回答文をデコードする、みたいな付け足しもアリかもしれませんが、私は研究者じゃないのでそんなことができるのか、できるとしてどの程度見込みがあるのかは直感が効きません（おそらくは無謀）。学習に使うデータセットで論文を検索してみて、その論文の実装を使うか、そのモデルを実装してしまう方がずっと筋がいいと思います。

[taiyo2017]

なるほど・・・、ありがとうございます。