質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Q&A

1回答

12265閲覧

RBFカーネルを用いたSVMのハイパーパラメータ

退会済みユーザー

退会済みユーザー

総合スコア0

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

2グッド

1クリップ

投稿2015/12/09 10:46

RBFカーネルを用いたSVMのハイパーパラメータについてです.
コストパラメータ(cost)とRBFカーネルパラメータ(gamma)を調整することができますが,この2値はトレードオフの関係と考えていいのでしょうか.

・costを小さく取り,誤分類を許容すれば決定境界は単純なものとなり,gammaの値は小さくなる.
・costを大きくし,誤分類を許容しないようにすると決定境界は複雑となり,gammaの値は大きくなる.

と認識していますが,これはcost値とgamma値がトレードオフなのではなく誤分類の許容と境界線の複雑さがトレードオフなのであって,2値がそういった関係があるわけではないのでしょうか.
そうなると,costとgammaの間には何か関係性があるのでしょうか.

そもそもの認識が間違っていたら申し訳ありません.
2値の意味や関係性を教えていただけないでしょうか.

Victorian-Vat, shin_shin👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

記号の定義の仕方によって話が変わってしまいますが、お話から類推するに「RBFカーネルを基にしたソフトマージンSVM」のことだと判断し、それを前提に説明させていただきます。(間違っていたら申し訳ありません。)

お話から察するに、cost パラメータはソフトマージンに対応するパラメータ、RBFカーネルパラメータは指数関数 exp の中のノルムのスケーリングをするパラメータだと思うのですが、これらはそれぞれで異なる働きをします。

まず、cost パラメータは「どのぐらいのソフトマージンを許容するか」に対応するパラメータです。"ソフトマージン無し"SVMはデータを完全に判別するように各群の境界線を定めますが、これはデータへの過適合となり汎化能力が落ちてしまいます。特に複雑な非線形構造を捉えるSVMでは、データに当てはめる非線形構造が複雑になるほど汎化能力が下がってしまいます。そこで、少しだけ判別境界を「ソフト」にする(一部のデータについては誤判別を許容する)ことで、データへの過適合を避け、汎化能力を高めています。

一方、RBFカーネルパラメータはその名前の通りカーネル関数のパラメータです。そもそもこのカーネル関数は2つのデータを「何らか」の非線形関数で変換した上で内積を計算した値を示しています(どんな非線形関数かは一般には未知のままにします)。ゆえに、カーネル関数のパラメータは対応する(未知の)非線形関数を調整するものになります。SVMなどの「カーネル手法」は、何らかの非線形関数による変換によって複雑な構造を持つデータをシンプルにし、分析しやすくすることをしているのですが、このRBFカーネルの関数はこの非線形関数を定めるものだと見なすことができます。

すなわち、RBFカーネルのパラメータはデータの複雑(非線形)構造を捉えるものであり、cost パラメータは判別ルールの汎用性を調整させるためのものです。

これらの値が(一見)トレードオフの関係になるのは、(最適なパラメータ値の探索をしているという前提で考えれば)ソフトマージンを許容すればデータに複雑すぎる構造を当てはめても汎化能力はある程度確保でき、一方、ソフトマージンを小さくするとシンプルな構造をデータに当てはめた方が汎化能力が高くなる、という傾向があるからだと思います。

投稿2015/12/09 20:26

編集2015/12/12 18:48
Victorian-Vat

総合スコア104

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問