3-way 1-shot（各クラス1枚のみ）で高精度になることがありますが、シード値による性能変動を改善したい

Question

実現したいこと

• Pythonで、画像認識システムを実装しています。
• メタ学習なし、
  事前学習なし、
  データ拡張なし、
  sklearn.datasets.load_digits を使用
  2・3・4 の3クラス分類（3-way classification）
  各クラス1枚のみを訓練データとして使用（3-way 1-shot）

という条件で実験しています。
あるシード値では Accuracy が 99.19% まで到達しますが、シード値を変更すると 50%台まで低下する場合があります。

このような性能のばらつきを改善する方法についてアドバイスをいただきたいです。
全体のコードはZENNに記事として載せてあります。問題のコード

発生している問題・分からないこと

• numpy.random.seed(46)の時は高精度なのですが、一方numpy.random.seed(45)のときは５０パーセント台にまで落ちてしまいます。
• 訓練画像を上のシードの時に表示させたところ、numpy.random.seed(45)のほうは少し数字が判別しにくかったです。
• 1枚の画像を使用するのできれいな画像でないと、高い精度は叩き出せないとわかっているのですが、どのように対応していいのかわかりません。

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

同じようなアルゴリズムが見つからず困っています。

補足

特になし