質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
R

R言語は、「S言語」をオープンソースとして実装なおした、統計解析向けのプログラミング言語です。 計算がとても速くグラフィックも充実しているため、数値計算に向いています。 文法的には、統計解析部分はS言語を参考にしており、データ処理部分はSchemeの影響を受けています。 世界中の専門家が開発に関わり、日々新しい手法やアルゴリズムが追加されています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Q&A

1回答

3447閲覧

SVM(e1071)のチューニングについて

cho

総合スコア23

R

R言語は、「S言語」をオープンソースとして実装なおした、統計解析向けのプログラミング言語です。 計算がとても速くグラフィックも充実しているため、数値計算に向いています。 文法的には、統計解析部分はS言語を参考にしており、データ処理部分はSchemeの影響を受けています。 世界中の専門家が開発に関わり、日々新しい手法やアルゴリズムが追加されています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

0グッド

1クリップ

投稿2015/11/25 07:05

Rのe1071パッケージを利用しています。
SVMでの判別精度を上げるにはチューニングが不可欠だということを知り、
色々と調べてみました。

グリッドサーチ
パラメータ調整
スケール選択
カーネル関数(?)の使い分け→RBFカーネル or 線形カーネルなど

などのワードを見つけました。
そこで、精度を上げるためにも色々と調整していきたいのですが、

・グリッドサーチとパラメータ選択は同じと考えてよいのでしょうか
・調整すべき要素はほかにもあるのでしょうか
・e1071でそれらのチューニングを行う方法を教えていただけないでしょうか

特に3つ目を詳しくご教授お願いできればと思います。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

古いご質問ですが回答がないことと、他の初心者の方の参考にもなるかと思いますので

グリッドサーチ
パラメータ調整
スケール選択
カーネル関数(?)の使い分け→RBFカーネル or 線形カーネルなど

などのワードを見つけました。
そこで、精度を上げるためにも色々と調整していきたいのですが、

・グリッドサーチとパラメータ選択は同じと考えてよいのでしょうか

質問の時に用語の統一をした方がよいです。「パラメータ調整」と「パラメータ選択」と用語が別れていますが、
あえて違う言葉としてそれぞれの意味を知りたいのか、単に表記揺れなのかが分かりません。今回の場合は後者と
思われますが。パラメータ選択のためにパラメータ調整をするくらいの意味かと思います。

グリッドサーチはパラメータ選択の一手法ですね。
ハイパーパラメータは連続値のものと離散値(飛び飛びの値)がありますが、理想的には全部試す!です。ただ
連続値を全部試すというのはあり得ないので選び方がいろいろあり、

  • グリッドサーチ
    • 碁盤の目状に文字通りグリッドを作成して探索する方法。0−1のハイパーパラメータであれば 0, 0.5, 1 とすることや、もっと大きな値もありうる場合は 1, 10, 100, 1000 と等間隔ではなく指数的に変える場合もあります
  • ランダムサーチ
    • ハイパーパラメータをランダムに与える方法です
  • ベイズ最適化
    • ベイズ推定を用いながらハイパーパラメータを調整する方法です

補足:パラメータとありますが、正確に言いますとハイパーパラメータですね
機械学習モデルの外で与えるもの ハイパーパラメータ
機械学習モデル内部で自動調整するもの パラメータ
でパラメータ調整が必要なのは「ハイパーパラメータ」の方です。

・調整すべき要素はほかにもあるのでしょうか

学習データとテストデータの分け方が大きいです。学習したデータとテストデータの傾向が異なればせっかく学習モデルを作成しても予測が当たらない、となりますので。
クロスバリデーション、n-Hold、などのキーワードが出てきます。

また最近ではハイパーパラメータ自動調整やひっくるめて全部自動化しようとするAutoMLなども話題です。

・e1071でそれらのチューニングを行う方法を教えていただけないでしょうか

【初心者向け】SVMのパラメタチューニング
こんなところからでしょうか。

書籍ですとPythonになってしまいますが考え方を学ぶには下記の本などがちょうどよろしいかと
PythonではじめるKaggleスタートブック

投稿2020/07/11 22:57

aokikenichi

総合スコア2210

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問