質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Q&A

解決済

1回答

1325閲覧

機械学習・深層学習の評価指標の選別する方法・目安

essa

総合スコア81

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

1グッド

1クリップ

投稿2019/08/08 01:45

お世話になります。

標記について質問させてください。

機械学習や深層学習をする際、モデルを評価していくと理解しております。
その際、数多くの評価指標があると認識しており、どういった問題のときにはどの評価指標を使うのかがわかりません。

モデル構築時にも、色々な切り口があると思います。
・構造データ(CSVファイルのようなもの)
・非構造データ(画像データや音声データのようなもの)

また、データの特性も色々あると思います。
・2値データ
・連続データ(1,2,3,4...)

また、機械学習・深層学習は、大きく分けて下記2つのいずれかになると認識しております。
・回帰問題
・分類問題

評価指標に関しては、下記のようなものがあると認識しております。
・AUC
・RMSE
・ジニ係数
・DCG
・Multi-class logarithmic loss
・F値
まだまだ多くの評価指標があると認識しております。

どのようにして、評価指標を決めるのでしょうか。

scikit-learnの公式HPでは、データの品質等によってモデルを使い分ける、フローチャートが公開されております。
site
このような資料はないのでしょうか。

どうぞよろしくお願い致します。

hayataka2049👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

評価指標そのものも研究の対象で、「既存の指標は性能の評価にあまり適していないため、新しい指標を提案する」というだけでその気になれば論文が書けます。

要するに安易に選べるようなものではなく、本当は各指標の性質を理解した上で熟考の末に選ぶのが正しい、というのがベストな回答になるのですが……


  • 先行研究で使っている指標を使う
  • 分類ならprecision, recall, f-1のマクロ平均と正解率くらいはとりあえず出しましょう
  • 回帰はいわゆる線形回帰を使って理論面をある程度重視する統計解析的なアプローチでやりたいときは自由度調整済み決定係数などを持ってきて(1に近いほど良い:相関係数と同じとみなせる)、あまり理論的にこだわらずとにかくモデル比較したい、というときはRMSEでいいと思います。

投稿2019/08/08 09:22

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問