CNN層が持つparametersの数(理論値)の計算方法

CNN層が持つparametersの数の理論値を求めるには下記のような計算方法で大丈夫でしょうか。

CNNのフィルターの形状＝(h,w,c)　とします。
h : フィルターの縦サイズ
w : フィルターの幅サイズ
c :　当該layerの入力mapのchannel数, =入力map枚数

一つのCNN のlayerが持つparameter数 = (h×w×c×n + n)×m

n : 一枚の出力map上の要素数, =bias parameterの数
m : 出力map数

正しいかどうかご教授お願い致します。

jbpb0

2022/07/01 00:01 編集

m : 出力map数=bias parameterの数 h×w×c×m + m ではないですかね https://qiita.com/Phoeboooo/items/b92c35f6739a9e765a80 torchinfoで検算してみてください https://yiskw713.hatenablog.com/entry/2021/06/01/070144 kerasならsummary()で https://note.nkmk.me/python-tensorflow-keras-count-params/

insecticide

2022/07/01 03:49 編集

早速お返答ありがとうございます。貴重な情報も助けります　💞 ぶっちゃけ、ショック❣ という事は、一枚の特徴mapを生成するには一つの＝1-setのfilter係数変数しかない？訓練も同じfilter係数変数セットに対して、1枚のmap上の多量のmap データで同時にgardを計算するのでしょうか？？　結果が衝突するじゃないの？！等々ショック

jbpb0

2022/07/01 03:53

> 一枚の特徴mapを生成するには一つの＝1-setのfilter係数変数しかい？・畳み込みカーネルはcセット・バイアスは一つだと思います

insecticide

2022/07/01 05:34 編集

jbpb0さまのご理解が正しいと思います。自分がずっと間違った認識を持っていました。正解は恐らく、下記の通り。例えば、１つのbiasの更新するために対応する1枚map(2D)上の64×64の要素によって同じfilter変数に別々にgradを算出し、更に(mini-)batch sizeが1000であれば、64×64×1000=4,096,000種類のgrad値が算出されます。この4,096,000個のgrad値のどれを信用すべき？分からないので、無理矢理に和を取って(平均を取るのも可能)、真のgrad値とし、そのfilter変数の更新に使う。。。むー、まあ、一種の『統計的な』更新手法かな。これに対して「ランダム的な=<確率的勾配降下法(SGD)>」という更新手法もありますね。どっちがマシでしょうね? 自分の脳は理解力が明らかに不足。。。