「Deep MNIST for Experts」の質問

Question

TensorFlowのサイトにあるDeep MNIST for Expertsをやっているのですが、
わからないことがあり、質問させていただきます。

First Convolutional Layerで、フィルターの変数を[5, 5, 1, 32]の行列で指定していますが、４つ目の数が32である理由がよくわかっていません。

1:フィルターの縦ピクセル数
2:フィルターの横ピクセル数
3:チャネル数(今回は白黒なので1、カラー(rgb)なら3)
4:不明

よろしくお願いいたします。

◯Deep MNIST for Experts  |  TensorFlow
https://www.tensorflow.org/get_started/mnist/pros
== 引用開始 ==
First Convolutional Layer

We can now implement our first layer. It will consist of convolution, followed by max pooling. The convolution will compute 32 features for each 5x5 patch. Its weight tensor will have a shape of [5, 5, 1, 32]. The first two dimensions are the patch size, the next is the number of input channels, and the last is the number of output channels. We will also have a bias vector with a component for each output channel.

W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
== 引用終了 ==

Answer 1

32 features for each 5x5 patch

一層目のフィルターの数(=特徴MAPの数)が32コだから、ということではないでしょうか？
5x5の畳み込みフィルターが32コ並列関係に存在している、イメージです。

どうして32コなの？となると、恐らく「処理が軽いけれども十分に判別できるライン」が32だったのだろうと思います（2＾5でキリがいいですし）。

---

2017-09-17 22:00過ぎ追記
Stackoverflowのlejlotさんがかなり丁寧にまとめていましたので引用します。

(中略)MNISTのなかで、イメージ全体に5x5の畳み込みカーネルを走査させることを通して、画像を直線的にマッピングしており、このようなフィルタを32個作っているのです。

例えば、このようなフィルター１個であれば、エッヂ検出装置として働きます。

0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

別の例では、斜めの線を検出することができます。

1 0 0 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 1 0 1 1 1 1 1

諸々について。**どうして32か？これは単に試行と経験で得られたマジックナンバーなのです。**これはCNNsの定義の中では本当に小さい数値に過ぎません(単にグレースケールイメージから基本的なエッヂを検出するだけであれば、既に8個の異なるフィルタが必要になるということに注意してください　訳注:8方向?2^8=8bitグレースケール?)。

---

先行事例を調べる途中で、概念や言葉だけではわかりにくいから、3Dでゴリゴリ動かせるWEB上のMNISTを使ってはどうだ？という提案がありましたので、参考にリンクをつけておきます。

Comments

[akihico]

フィルターの個数だったのですね。そして、32個が絶妙なさじ加減みたいですが、ここら辺は本当に難しいところだと思いました。
「3Dでゴリゴリ動かせるWEB上のMNIST」見ました。視覚化するとインパクトがすごいですね！面白かったです！

[退会済みユーザー]

WEB上のMNISTはakihicoさんの質問がなければ見ることはありませんでした。私もこんなサービスがある事に驚いています。良い質問をありがとうございました。