トランスフォーマーイメージのキャプショニングモデルが、キャプションを生成しません。(パディングを生成してしまいます。)

Question

私は英国人で、英語のサイトStackOverflowでもう投稿しましたが、分かりませんでした。日本の方に頼みます

私は、resnetをエンコーダー、transformerをデコーダー、COCOをデータベースとして使用して、画像のキャプションを生成するモデルを作成しようとしています。

10エポックの間モデルを訓練した後、私のモデルは<pad>という単語以外の何かを生成することに失敗しました。

デバッガを使った後、エラーはargmaxで発生したようで、出力は他の何かよりもむしろゼロになるだけですが、それを修正する方法がわかりません。

こちらのコードも用いられています
Link

こちらは僕のコードです
Model.py

train.py

sample.py