線形判別分析にて、なぜ微分して0が最大値となるのか？

Question

線形判別分析のアルゴリズムについて質問です。

J(W) = クラス間の平均に関する最大化問題/クラス内の分散に関する最小化問題
　　　= w(^T)*Sb*W/w(^T)*Sw*W

が線形判別分析においてでてくると思うのですが、このJ(w)を最大化させるwを求める時、J(w)を微分して0になったところが最大だと考えて解くそうです。

なぜでしょうか？符号もわからないのに微分して0が最大値と決めてよいのでしょうか？

もし詳しい方いらっしゃいましたら、ご教授していただきたいです。

<追記>
はじめてのパターン認識という教科書では、

J(W)を最大化する解は、次の一般化固有値問題を解くことで得られる。

Sb*w = λ*Sw*w

と記述されているのですが、これも展開が飛びすぎていてい理解できません。。

Answer 1

J(W)を最大化する解は、次の一般化固有値問題を解くことで得られる。

という話ですから，
複数存在する固有ベクトルのうちの１つが所望の解である，という話なのでは？
（他の解も出てくるので，その中から選ぶ）

Comments

[fana]

例えば，固有値問題にできる簡単な最小二乗法とかだと，「最小固有値に対応する固有ベクトル」を解に選びますよね．
そういう話でしょう．

[masa_00]

そうです。複数存在する固有ベクトルに対して、固有値の大きい順にいくつかを使用することになります。
ですが、なぜJ(W)という分数を最大化させることが、一般化固有値問題に繋がっていくのかがわからないです。

[fana]

おそらく，Wのノルムは意味を成さないので，適当にノルム=1とか何とかおいてやって，
ラグランジュ乗数法で評価関数にWのノルムに関する項をくっつけて，
｛Wの各成分と，ラグランジュ乗数｝のそれぞれで評価関数を偏微分したら全部=0になるという連立方程式を立てて，それを頑張ってまとめてやると，結果として式が「固有値問題の形になる」みたいな話．

そこらへんの式変形の経過とかはきっと検索なり本とか何かで見つけられるのではないでしょうか．きっと．

[fana]

制約付きの最適化問題　を　ラグランジュ乗数法（ラグランジュ未定乗数法）で解く
という話についてまず調べると良いかと．

で，本件での制約というのは，「Wのノルム＝１」みたいな話が対応．

Answer 2

ひとまず、（微分可能な関数を扱っているのであれば）微分して0となるのは最大値の必要条件です。

「微分して0となる」点には極大値、極小値、変曲点などが考えられますが、単峰性を満たすなどで「微分して0となる点が唯一の最大値である」ということが決まっている、という状況ではないでしょうか？

Comments

[masa_00]

もし「微分して0となる点が唯一の最大値である」と決まっているのであれば、これは線形判別分析のアルゴリズム、考え方からくる論理だと思うのですが、その論理展開がわかりません。。。

Answer 3

J(W)が凸関数になるって前提があるんじゃないですか?

Comments

[masa_00]

前提としてはデータが正規分布に従っていることぐらいですね。。
関数に関する前提は置かれていません。