ゼロから作る２のAttentionについて

Question

「Attention is All You Need」による Transformer の解説では、Attention は、Query から、Memory(Key, Value)を参照するようですが、このQuery, Key, Value は「ゼロから作るDeepLearning 2 自然言語処理編」でのAttentionの解説において、どこに（何に）相当するのでしょうか。ネットの解説は抽象的で理解できませんでした。わかってる人には、その洗練された解説が喜ばれるかもしれませんが。。

或いは、具体的な値で教えていただけると助かります。よろしくお願いいたします。

Answer 1

Attentionの解説としてこちらのBERT解説の文中で登場するAttention解説が大変わかりやすかったです
https://www.ogis-ri.co.jp/otc/hiroba/technical/similar-document-search/part3.html

Comments

[teefpc]

ありがとうございます！