🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Q&A

解決済

1回答

779閲覧

モデルの性能評価においての、データの分割とチューニング・交差検証の手順

oichiki

総合スコア5

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

0グッド

2クリップ

投稿2019/12/13 06:34

編集2019/12/13 07:46

前提・実現したいこと

あるデータに対してSVM、RandomForestを用いて2値分類を行い、モデルの分類性能を評価しようとしています。
そこでパラメータチューニングを行ってから分類性能を評価しようと思っているのですが、正しい手順がわかりません。
現在実行しようとしている手順は以下になります。
####手順
学習データ数:1000
分類:2値分類
手法:SVM, RandomForest

1.データ全体を学習用(700)、評価用(300)に分割
2.学習データ全体(700)でグリッドサーチをk分割交差検証によって行う(モデルの精度評価はAUC)
3.手順2で最もAUCの高かった際のパラメータで、学習データ全体(700)を学習
4.手順3で構築したモデルで評価用データを分類し評価指標(precision, recall, f1-score, auc)を算出

上記手順で算出された評価指標値をモデルの性能として扱おうとしているのですが、このアプローチが間違っている気がしてなりません。
初歩的な質問で申し訳ないのですが、上記手順が間違いでしたらモデルの評価における一般的な手順をお教えいただけないでしょうか。

追記
懸念点1:いくつか論文では交差検証における評価指標の平均値を算出してモデルの評価を行っている
疑問点1:この場合はどこでパラメータチューニングをおこなっているのか

懸念点2:手順1の分割に結果が依存してしまう
疑問点2:手順1~4をまとめて交差検証としてしまうとネストされた交差検証となってしまい、手法の比較しかできないのではないか

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hayataka2049

2019/12/13 07:32

間違っている気がする理由を書いていただかないと有益な助言は得られづらいと思います。
oichiki

2019/12/13 07:40

説明不足で申し訳ありません。以下が私の懸念点と疑問点です。 懸念点1:いくつか論文では交差検証における評価指標の平均値を算出してモデルの評価を行っている 疑問点1:この場合はどこでパラメータチューニングをおこなっているのか 懸念点2:手順1の分割に結果が依存してしまう 疑問点2:手順1~4をまとめて交差検証としてしまうとネストされた交差検証となってしまい、手法の比較しかできないのではないか
hayataka2049

2019/12/13 07:42

ここに書くのではなく質問文に追記してください。
guest

回答1

0

ベストアンサー

懸念点1:いくつか論文では交差検証における評価指標の平均値を算出してモデルの評価を行っている

疑問点1:この場合はどこでパラメータチューニングをおこなっているのか

そこまで書いてない論文もあります。チューニングしていない場合もありますし、評価と一緒にやっている場合もあります(後者は駄目と言えば駄目だけど、議論したい問題に関係なければ見過ごされることも多い)。

懸念点2:手順1の分割に結果が依存してしまう

そうですね。でも1000を700:300にランダムに分けるのであれば、さほど気にする必要はないとも言えます(サンプルが多ければそんな滅茶苦茶な偏り方をする可能性は低いので)。

疑問点2:手順1~4をまとめて交差検証としてしまうとネストされた交差検証となってしまい、手法の比較しかできないのではないか

手法の比較ができれば良いのでは? 何を問題視しているのかが見えません。

投稿2019/12/13 07:31

編集2019/12/13 08:22
hayataka2049

総合スコア30935

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

oichiki

2019/12/13 07:54

ご回答いただきましてありがとうございます。 この場合手順1の分割に結果が大きく依存してしまうため、汎化性能に対する評価が不足するのではないか考えています。
hayataka2049

2019/12/13 12:55

分け方を変えて何回かやって平均するという手もありです。そうするとt検定などもできますし。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問