質問編集履歴
5
追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -9,7 +9,25 @@
|
|
|
9
9
|
[**例えば↑**] [**<<Automatic differentiation>>**](https://en.wikipedia.org/wiki/Automatic_differentiation)
|
|
10
10
|
|
|
11
11
|
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
|
|
12
|
-
【面白いidea】
|
|
12
|
+
**【面白いidea 1】**
|
|
13
|
+
What is Automatic Differentiation?
|
|
14
|
+
|
|
15
|
+
Automatic differentiation is really **just a jumped-up chain rule**.
|
|
16
|
+
When you implement a function on a computer, you only have a small number of primitive operations available (e.g. addition, multiplication, logarithm). Any complicated function, like log(x^2)/x.
|
|
17
|
+
is just a combination of these simple functions.
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
In other words, any complicated function f can be rewritten as the composition of a sequence of primitive functions fk:
|
|
21
|
+
|
|
22
|
+
f = f0∘f1∘f2∘…∘fn
|
|
23
|
+
|
|
24
|
+
Because each primitive function fk
|
|
25
|
+
has a simple derivative, we can use the chain rule to find df/dx pretty easily.
|
|
26
|
+
|
|
27
|
+
Although I've used a single-variable function f:R→R
|
|
28
|
+
as my example here, it's straightforward to extend this idea to multivariate functions f:Rn→Rm.
|
|
29
|
+
|
|
30
|
+
**【面白いidea 2】**
|
|
13
31
|
Automatic differentiation computes derivatives based on computational functions (which in turn are broken down into basic operations such as addition/subtraction and multipliation/division).
|
|
14
32
|
|
|
15
33
|
Since TensorFlow does differentiation based on a computation graph of operations, I'd intuitively say that it's **automatic differentiation** (I don't know of any other technique that would be appropriate here; I think the possibility that TensorFlow is **converting the computation graph into a mathematical equation** that is then **parsed** to compute the derivative of that equation is prob. out of question). The authors say "symbolic differentiation" in the TensorFlow whitepaper though -- however, I think this may be a **misnomer** similar to "Tensor" instead of "(multi-dimensional) data array" if you'd ask a mathematician.
|
4
追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -6,4 +6,10 @@
|
|
|
6
6
|
|
|
7
7
|
この辺明るい方是非ご教授お願い申し上げます。
|
|
8
8
|
|
|
9
|
-
[**例えば↑**] [**<<Automatic differentiation>>**](https://en.wikipedia.org/wiki/Automatic_differentiation)
|
|
9
|
+
[**例えば↑**] [**<<Automatic differentiation>>**](https://en.wikipedia.org/wiki/Automatic_differentiation)
|
|
10
|
+
|
|
11
|
+
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
|
|
12
|
+
【面白いidea】
|
|
13
|
+
Automatic differentiation computes derivatives based on computational functions (which in turn are broken down into basic operations such as addition/subtraction and multipliation/division).
|
|
14
|
+
|
|
15
|
+
Since TensorFlow does differentiation based on a computation graph of operations, I'd intuitively say that it's **automatic differentiation** (I don't know of any other technique that would be appropriate here; I think the possibility that TensorFlow is **converting the computation graph into a mathematical equation** that is then **parsed** to compute the derivative of that equation is prob. out of question). The authors say "symbolic differentiation" in the TensorFlow whitepaper though -- however, I think this may be a **misnomer** similar to "Tensor" instead of "(multi-dimensional) data array" if you'd ask a mathematician.
|
3
追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
NNの神髄は目標関数を微分で極値に到達させることだと思います。
|
|
1
|
+
NNの神髄は目標関数を微分で極値に到達させる(これでback propagationの形でweightの最適化を行う)ことだと思います。
|
|
2
2
|
その微分の実現法として『自動微分』法が良く紹介されています。
|
|
3
3
|
しかし、『自動微分』の方法を調べても[**例えば↓**]、関数が数式(解析式,symbolic format)である例を説明されたばかりですが(**これで"forward and reverse accumulation"を論ずる**)、現実の関数は皆programming言語で定義されるわけですから、内容や形式が様々で、if文やloop文さえ入れている事もあり、解析的な数式表現とは全然異なりますね！
|
|
4
4
|
|
2
訂正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
NNの神髄は目標関数を微分で極値に到達させることだと思います。
|
|
2
2
|
その微分の実現法として『自動微分』法が良く紹介されています。
|
|
3
|
-
しかし、『自動微分』の方法を調べても[**例えば↓**]、関数が数式(解析式,symbolic format)である例を説明されたばかりですが(**これで"forward and reverse accumulation"を論ずる**)、現実の関数は皆
|
|
3
|
+
しかし、『自動微分』の方法を調べても[**例えば↓**]、関数が数式(解析式,symbolic format)である例を説明されたばかりですが(**これで"forward and reverse accumulation"を論ずる**)、現実の関数は皆programming言語で定義されるわけですから、内容や形式が様々で、if文やloop文さえ入れている事もあり、解析的な数式表現とは全然異なりますね！
|
|
4
4
|
|
|
5
5
|
結局、**どうやって、『自動微分』が実装されたの？**という質問がずーと分かっていません。
|
|
6
6
|
|
1
訂正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
NNの神髄は目標関数を微分で極値に到達させることだと思います。
|
|
2
2
|
その微分の実現法として『自動微分』法が良く紹介されています。
|
|
3
|
-
しかし、『自動微分』の方法を調べても[**例えば↓**]、関数が数式(解析式,symbolic format)である例を説明されたばかりですが(**これで"forward and reverse accumulation"を論ずる**)、現実の関数は皆プログラム言語で定義されるわけですから、プログラ
|
|
3
|
+
しかし、『自動微分』の方法を調べても[**例えば↓**]、関数が数式(解析式,symbolic format)である例を説明されたばかりですが(**これで"forward and reverse accumulation"を論ずる**)、現実の関数は皆プログラム言語で定義されるわけですから、プログラミング言語で定義している関数の内容や形式は様々で、if文やloop文さえ入れている事もあり、解析的な数式のような表現と全然異なりますね！
|
|
4
4
|
|
|
5
5
|
結局、**どうやって、『自動微分』が実装されたの？**という質問がずーと分かっていません。
|
|
6
6
|
|