もっとも「決定的な出力」と言えそうなものは？

Question

試験対策の問題を解いていたところ、「決定的な出力をする分類器はどれか」という問題に出会いました。
決定的な出力 というものがいまいち分からないので、4択それぞれの気になった所を比べました。
着眼点や内容に間違えがあれば教示いただけると幸いです。

---

1. ロジスティック回帰
2. サポートベクターマシン
3. K-means
4. PCA（主成分分析）

[決定的と言えそうなところ]

1. 特になし？（強いて言うならsoftmax関数宜しく、最も確率の高い択を答えとする）
2. マージンという決定境界面を用意して、マージンより左ならA、右ならBと分類する。（3次元以上あるなら左右とは言わないかも）
3. K個の特徴の数だけ、データを組み分けしてくれる。
4. 正直分かりません。

　（高次元の入力を低次元（だいたい3次元）の出力に変えてくれるPCAは「決定的な出力」と言える？）

＿＿＿

[決定的ではなさそうなところ]

1. 最終的な出力（最も尤度の高い出力）が例えば51％のように低いとき、決定的とは言えない。
2. 多少の誤分類を許すソフトマージンSVMというものがある。（ただし別の手法と捉えるなら無関係)
3. K個の特徴ごとにグループ分けしてくれると言っても、どの特徴で組み分けするかは決められない。（分類器が勝手に決める(?)）
4. 一番分かりません...

---

私的には、答えは２のSVMだと考えています。分類器の中でも 境界線からの距離に応じてAかBかを出力する点が特に決定的で間違えがないかと。
主成分分析に関しては本当に見当が付かず、そもそも（回帰でもないとはいえ）分類器の括りに入るのかすら説明が付きませんでした。

ただ、問いかけがあまりに簡素なので解釈違いを起こしていないかとても心配です。

Answer 1

面白い質問だったので+1しました。

決定的ってナンだ？

筑波大学の佐久間先生のスライドがUpload（Googleが勝手にクロールした可能性あり）されていましたので参照ください。

p.12が参考になります。同じく佐久間先生の別のスライドがGoogle検索で上がってきて、SVMが決定的識別モデルの代表例として挙がっていました。

つまるところ、

アプローチ	やること
決定的識別モデル	有無を言わさずピシャリとBooleanな答えを出す
確率的識別モデル	モヤモヤっとした確率の雲的な答えを出す

私が答えるなら…

「決定的な出力をする分類器はどれか」ですので、

• 決定的なモデル
• 分類器

を満たさないといけない、というところを起点に考えます。

※SKLearn公式より引用

上の図を基に考えると、

アプローチ	コメント	判定
ロジスティック回帰	確率論的識別モデルの代表例	×
SVM	決定的識別モデルの代表例	〇
K-means	識別モデルではなく、クラスタリング技術。似た塊は作れるが識別はできない	×
PCA	識別モデルではなく、次元削減技術、クラスタリングともいえるかも？。似た塊は作れるが識別はできない	×

---

スライドも何も、Youtubeで佐久間先生が講義を丸ごと公開してくれているそうです。Andrew Ng先生みたいなことを日本語で公開してくれている感じです。スゲー。漢！
https://ocw.tsukuba.ac.jp/course/systeminformation/machine_learning/

Comments

[takedac]

k-means の特性である「データ群の隠れたK個の共通点を見つけてグループ分けする」という過程を見て、それなら分類と言えそう と思っていましたが、分類とクラスタリングは別物でしたか...

スゲー回答をありがとうございます！

[退会済みユーザー]

クラスタリングは「それが何か」を無視して（ラベル情報を使わずに）、「それが似ている（ベクトルが近い）か」だけでまとめ上げていきます。
なので、極端な例を言えば
・　与えられた「ラベルなしデータ」をクラスタが３つに分けたよ。
・　分けられたクラスタの中のサンプルであれば、それぞれが似ていることは保証するよ。
・　ただ、教師データにラベルがないから、各クラスタが何を意味するか分からないよ。
　　（クラスタリングではラベル情報は使わないのでこうなってしまいます）
・　どうしてもクラスタの中身が知りたければ、各クラスタからそれぞれ1サンプルずつ抜き取って、
　　それぞれに対して分類Classificationしてね
みたいな感じです。