深層学習のモデルのデバッグ方法、ボトルネックな部分を可視化する方法

Question

ある程度パラメータ数、部品のおおい、アーキテクチャが複雑な深層学習のモデルを作成していて、あまりいい精度が出ない場合について質問です。

この問題を解決する方法として、モデルの役に立っていない部分を削除して学習させて精度をみて、その部分が必要かどうかを見極めるという方法が考えられるとおもいます。
しかし、一つ一つ確認するのではなく、モデルの出力にモデルのどの部分がどれくらい貢献しているかといったことを全体的に見渡す方法があるのではないか、とかんがえています。

たとえば、パラメータの更新具合を色を付けて可視化してくれたりするようなpythonのパッケージはあるのではないかとおもっています。

このように、多くの部品をもつ深層学習のモデルを開発するうえで効率よくデバッグする方法を知りたいです。

Comments

[退会済みユーザー]

> ある程度パラメータ数、部品のおおい、アーキテクチャが複雑な深層学習のモデルを作成していて、あまりいい精度が出ない
Q.1 既存の有効なネットワークをベースに書き換えているか、全て独自のネットワーク構造かどちらでしょうか？
Q.2 optimizerや学習率、サンプル数、学習ステップ数等は調整済ですか？

これらがうまくいっていなかった場合、これらを調整することで「モデルのデバッグ方法、ボトルネックな部分を可視化する」より早くやりたいことにたどり着けそうです。

もし両方とも調整済みでしたら結構な課題感のある質問かもしれません。