実現したいこと
Pytorchのnn.TransformerEncoderを用いてmultihead-attentionの重みを可視化したい
問題点
Pytorchのnn.TransformerEncoderモジュールの返り値はoutputのみなのでmultihead-attentionの重みを取り出す手法が知りたい
試したこと
これとかこれみたいな感じで自分でsingle-attentionを実装するしかないのでしょうか
補足情報
当方初学者のため色々と勘違いして理解している可能性があります。広い心で訂正してくださると幸いです。
あなたの回答
tips
プレビュー