Darknet-53の層の数

Question

YOLOv3のネットワークの構造を調べようと思い，
こちらの記事のYOLOv3　Network Architectureを参考にしていたのですが，
githubで畳み込み層の数を数えたところ，75個しか見つけられませんでした．

この記事に書いてある，106個の層は畳み込み層意外に何を含んでいるのでしょうか．

筆者に直接質問しようと考えましたが，もう更新していないようでしたので，
こちらで質問させていただきました．

もし，わかる方がいれば，教えていただきたいです．

また，YOLOv3　Network Architectureに書いてある，ストライドはカーネルサイズの間違いでしょうか.

Answer 1

106個の層は畳み込み層意外に何を含んでいるのでしょうか

オリジナル実装の darknet の設定ファイルに記載されている層の数の事を言っているのだと思います。

darknet/yolov3.cfg at master · pjreddie/darknet · GitHub

冒頭の [net] はハイパーパラメータなのでそれを除いて、darknet が定義する層の数を数えると全部で107層あります。
darknet のプログラムを実行するとわかるのですが、読み込んだ cfg ファイルに記載された層の一覧が 0, 1, .., 106 と107個表示されるので、それを見てその記事の著者が106って言っているのだと思います。

また，YOLOv3　Network Architectureに書いてある，ストライドはカーネルサイズの間違いでしょうか.

どの箇所のことでしょうか。

Comments

[aqufiz]

回答ありがとうございます．
畳み込み層だけでなく，ショートカットも層として考えているということで合っているでしょうか．

カーネルサイズはこちらと書いてあるリンクから飛べるサイトにある，YOLOv3　Network Architectureの図の
検出画像のところに書いてあります．

[tiitoi]

> ，ショートカットも層として考えているということで合っているでしょうか．

Pytorch だとショートカットをわざわざ層として扱わないですが、darknet だと層として扱うようになっています。

[aqufiz]

入力画像を416x416と定義しているので，物体検出のための特徴マップは
(13x13x255),(26x26,255),(52x52x255)になると思うのですが，先程のストライドで表されていた
特徴マップはどの地点での特徴マップ何でしょうか．

[tiitoi]

すみません。先程のコメントは勘違いでした。
ストライドが表しているのは、その特徴マップの1つのセルが元の入力画像の何ピクセルに相当するかの値です。
例えば、(13, 13) の特徴マップであれば、その特徴マップの(1, 1) のセルは元の入力画像で (32px, 32px)に相当します。
そう解釈すると、ストライドといっている意味も通ると思います。

print(416 // 13, 416 // 26, 416 // 52) # 32 16 8

[aqufiz]

本当にそのストライドで処理を行ったわけではないけど，
結果的にそのように見えるという意味でしょうか．

[tiitoi]

そこに記載されているストライドの意味は「畳み込みでカーネルを動かす際のストライド」とは関係ないと思います。stride は幅という意味があるので、この文脈では、「特徴マップの1つのセルに対応する入力画像の幅」という意味です。
例えば、13x13 の特徴マップを出力する出力層が (1.5, 1.2) という矩形を出力したとすると、元の入力画像のスケールに戻すには、416/13=32 をかけて、(1.5*32, 1.2*32) = (48, 38.4) とすればよいことがわかります。

[tiitoi]

論文やブログ記事だけではモデルの詳細を理解するのは難しいと思うので、実際にコードを見るのが手っ取り早いと思います。
とはいえ、オリジナル実装の darknet のコードはスパゲッティコードでなかなか読むのが辛いので、Python で書かれたものがよいと思います。
Keras や Pytorch のいくつかの実装例を見た中で、コードが簡潔で、オリジナルの実装に忠実だと思うのは、以下の Pytorch 実装です。
https://github.com/DeNA/PyTorch_YOLOv3

[aqufiz]

ありがとうございます。
コードを読んで理解を深めようと思います。