常連

注目の的

社会貢献

質問力

コード例からすれば、『計算グラフ』って、どんなAPPのプルグラムでもとっくにみんながやってきたようなものではと思いますね。。。

逆に、『**非計算グラフ**』的なやり方(コーディング)はどんなものでしょうか。

『非計算グラフ』的なやり方は？

実はずーーと、分かっていない事があります：
『**オンライン学習**』と『**確率的勾配法**』とは何が違うの？

もし同じであれば、どうして『**確率的勾配法**』が新しい方法みたいに扱われているのでしょうか。
---

【回答】(from tachikomaさま) 

『オンライン学習』と『確率的勾配法』とはまったく異なる範疇の概念で、 

１．『オンライン学習・訓練』は 学習データを徐々(逐次的)に(sequentially)取得して、一度学習した後追加学習を行う；その他の学習法では予めサンプルが揃っている。 

２．『オンライン学習・訓練』にも複数の最適化方法を選択可能：
Eg,　学習データを暫く溜めといて、『確率的勾配法』以外の任意の学習法(eg., mini-batch)を選べる。

３．『オンライン学習・訓練』はNNに限らず、例えば、ベイジアンモデルのオンライン学習も存在する。

『オンライン学習』と『確率的勾配法』とは何が違うの？

**暑中お見舞い申し上げます。**

TensorFlow流のやり方では、下記のようなパターンはよくありますね。
(↓うまく実行できる実例です)

```Python
a = tf.placeholder(tf.float32)
b = tf.placeholder(tf.float32)

adder_node = a + b  # + provides a shortcut for tf.add(a, b)
sess.run(adder_node, {a:3, b:4.5}))
sess.run(adder_node, {a: [1,3], b: [2,4]})

```
さて、上の『a』と『b』の正体は一体何なんでしょうか。

**①　変数のアドレス？**　
そうでもないようです。
　　最後の二つのsess.run文から分かるように、aとbに対応する中身のサイズが全然変動的ですから。

**②　辞書のキー？**　　
最後の二つのsess.run文の中に{a: ..., b: ...}のように使われているから、辞書のキーの可能性が高いですね。

でも、tf.placeholderって辞書のキーを生成して返すの？
そしてもし、『a』と『b』が辞書のキーであれば、直接この辞書のキーを使って計算(a+b)ができるの？　これはPython仕様？
#

**難しいかもしれませんが、ヒントやアイディアを頂ければ幸いです。**

TensorFlow流の奇妙(二)

TensorFlowの本家からの例です：
https://www.tensorflow.org/guide/using_gpu

```Python
# Creates a graph.
c = []
for d in ['/device:GPU:2', '/device:GPU:3']:
  with tf.device(d):
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3])
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2])
    c.append(tf.matmul(a, b))
with tf.device('/cpu:0'):
  sum = tf.add_n(c)

```
上の'cpu:0' でのcに関する計算は明らかに前に発行したGPUの処理に関係するので、
'cpu:0'と'GPU:0','GPU:1'との**間同期を取らなければならない**ですね。
この**同期手続き**は何処で行われているのでしょうか。

当然、もしCPUに委託する計算に使われる変数が直前にGPUに委託した処理に関係なければ、GPUとCPU間の同期が不要となります(無駄に同期を取れば、処理能率が悪くなる)。

従って、**GPUとCPUの間の変数依存関係をきちんと解析しなければならない**と思います。
【質問として】このような仕事はTensonFlowの利用者がするのか、それともTensorFlowが**自動的に『解析』してくれる**のでしょうか。

TensorFlowにおいてGPUとCPU間の同期問題

以下はこれまでの理解です。
DNNにおいてmapの生成とfilter係数セットの対応関係について
ある入力画像(or map)Xに対して同一filter係数のセット(3×3)：
F1=
 w1,w2,w3
 w4,w5,w6
 w7,w8,w9
で新たに一つのmap1を生成します。

上記Xに対して別のfilter係数のセット(3×3)：
F2=
 w10,w11,w12
 w13,w14,w15
 w16,w17,w18
で新たにもう一つのmap2を生成します。

まず、上記理解が正しいかどうかを確認させていただきたいと思います。

それから
同一mapを生成するために、F1とF2を同時に使う事は絶対ないでしょうか。
そして、同一filterセットF1で二つ以上のmapを生成する事もないという事ですね。

【あくまで原理上または計算式上の話しで、本来異なるfilter係数セットだが、
訓練結果がたまたま同じになるのは論外】

##どうぞ宜しくお願い致します

DNNにおいてmapとfilter係数セットの対応関係について

DNN分野では「End-to-end training」という言葉がよく出てきますが、
公式的な解釈はなく、個別な解釈を読んでも、分かるような分からないような気分です。

原因は恐らく反対の概念**「End-to-endではないtraining」**は何ですか
というのは分かっていないためかなと思います。

どなたかご解釈いただけませんか。

「End-to-end training」 とは？

最近DNNに関して時間ある限り懸命に勉強してきたつもりですが、
まだ、基本設計でさえ分かっていないような虚しさを感じます。

例えば、最初は何に基づいて、DNNの各層のノード数と層数を決めるのでしょうか。
tuning必要があると分かりますが、層数と各層上のノード数はそれぞれ莫大で、
全組み合わせで試すのは不可能ですね。
基本的な構成はないでしょうか。
そしてその基本的な構成は訓練用のサンプルとは関係あるでしょう。

**このような実用的な話があまり議論されていないような感じです。**
##情報有れば是非ご提供いただきたいです
(単刀直入、明瞭明快なものが理想です)

DNNの各層のノード数と層数を決めるための指針のような物はない？

最近YOLOに関する資料を読みまして、幾つか基本的な事まだ分かっていません。
##
**【疑問１】**
例えば、候補box(bounding box)のaspect と anchor boxのaspectはどうやって、決められたのでしょうか。
世の中に物によってaspectが無限に多いですよね。
なので『幾つかの典型な例』と言って括るのをできるもんではないでしょう。
電柱画像のaspectと電車画像のaspectは全然違います。。。。
aspectを遍歴しようとしたら、莫大なケース数になります。
この問題に関してYOLOV2の解決方法は何でしょうか。

**【疑問２】**
同様に、同一の物の向きは様々あります。
TEST画像中のobjectの向きは自由ですか、それともYOLOV2に何か仮定されている向きでなければならないのでしょうか。

##
どうぞ宜しくお願いします

YOLOV2に関する素朴な質問

DNNのメタパラメーター：
各CNN層の層数や最後の全連結NNの層数、及び各層上のユニット数の選択は
画像画素数、分類のカテゴリ数、訓練データ数の間とは何等かの基本関係あれば、
教えていただきたいですけれども。
要はどうやってDNNの基本構造を確定するのでしょうか。

DNNの基本構造を選択方法について

一つの標準画像しかない場合、これを以ってDeep CNNを訓練したい場合、
ただ一つ学習画像で学習させる場合とこの学習画像を繰り返し学習させる場合、
どっちが効果的な学習になるのでしょうか。

それとも両者は同じ？

どうぞ宜しくお願いします。

Deep CNNに対する極端な訓練について

最近YOLO(V2)に惚れてますが、

下記の２つの**キー**テクニックに理解できていないので、ご説明頂ければ幸いです。

Q1: bounding boxに対する**"Dimension Cluster"**を行うそうですが、
    具体的にどのようにやって、どんな量を得ようとするのでしょうか?
    例えば、訓練画像の平均bounding boxの高さと幅でしょうか。それとも。。。

Q2: IoUという指標の数学的意味は分かりますけれども、使用上の意味は分かりません。
　　　どうしてこれで、"Non-Maximum Suppression"ができるのでしょうか。
 　　因みにIoUの値が大きいほど良いのでしょうか、それとも反対？


どうぞ宜しくお願いします。

======解決済みとは言えないので、**★不適切な処ご指摘お願い致します★**=========

●●　試しにYOLOV2の**キーテクニック**を解説　●●

【根拠】
https://medium.com/@vivek.yadav/part-1-generating-anchor-boxes-for-yolo-like-network-for-vehicle-detection-using-kitti-dataset-b2fe033e5807 

**【bounding boxの選出原理】**

1.	anchor boxは縦と幅のsize、aspect(縦と幅の比)が人間に事前指定された幾つかの値(E.g, 5か8 etc)を持つ四角形である。
（勿論人間指定には主観性がある。大体車は幅のほうが長い、人間は縦のほうが長い----幾つか限られた実用的なobjectを想定して決める!? ）
2.	bounding boxは画像に存在するobjectを囲むboxの候補である。
3.	anchor boxとbounding boxは違う役で、両者が全く一致となるのは稀なケース。
4.	anchor boxはgrid cellの中心を自分のlocation中心とする。
5.	bounding boxの中心は**grid cellの中の任意の位置**に存在する可能
　　　　（★　これこそ**cell**というやつの存在意義: bounding boxの中心位置に一定の自由度を与え、具体座標値はDNNが出力してくれる）
6.	anchor boxのsizeとaspectは事前固定だが、個々bounding boxのsizeとaspectはDNNでの学習で決める
        (但し、bounding boxの数は人間が指定！)
7.	個々bounding boxの中に存在するobjectの名前(= annotation = “ground truth label”)は中心が同じgrid cellに存在する某anchor boxが持っているannotationにする。
8.	↑どのanchor boxのannotationにするかに関しては、中心が同じgrid cellに存在するbounding boxと諸anchor boxとのIOUの値の大きさによって決められる。
9.	↑IOUが1に一番近いanchor boxのannotationがbounding boxの中に存在するobjectのannotationとし、そのbounding boxを”本命”として選ばれる
10.	↑但し、囲む領域にobjectの存在確率が閾値以下であるanchor boxは対象外


**【K-Mean Clusteringの役割】**

１．これはあくまでも**指定・特定の画像DBを対象とする**K-Mean Clustering 処理である。
即ち、その特定の画像DBの諸画像の中に含まれている色々Objectの縦、幅ペアに対するClustering.

２．K-Mean Clusteringなので、**結果はClustering予定数に左右**されがちである。
これも人間が指定して上げなければならない。。。
★　DNNと言っても人間の「経験」と「主観」が基盤。

３．Clusteringの予定数が大きいほど、各Clusterの縦、幅分布範囲が狭くなり、学習対象とする画像DBにおいてIOUが1に近づいて行く。。。
４．**各Clusterの中心縦、幅が諸objectの代表サイズとし**、anchor boxの縦、幅にする-----5ペアや8ペア程度に決める。
　　**↑この４こそK-Mean ClusteringがFOLOV2に利用される目的だ！**