サポートベクトルマシーンの利点と欠点について

Question

教師あり学習のサポートベクトルマシーンの利点と欠点について質問です。
サポートベクトルマシーンについていろいろな記事を見てますと、利点としてデータの特徴量の次元数が大きくなっても識別精度が良いされており、
欠点としては学習データが増えると計算量コストがかかるとされています。

個人的には計算コストがかかっても高い精度が担保されているのならば、問題ないと思うのですが、何が問題なのでしょうか？

Answer 1

一般的に計算コストには時間とメモリの二種類を主に議論しますが、SVMの場合は学習時の時間計算量が非常に大きいです。
今回の場合、計算コストが大きくなる"度合い"が問題で、例えば訓練データ数が

• 100個なら0.1時間
• 1000個なら100時間、
• 10000個なら100000時間(≒4000日)、

のように、データ数が10倍になればかかる時間が1000倍になる、といったことが起こります。
他のアルゴリズム(例えばRandom forest)を使えば、精度は少し下がるけど10時間で終わるなら、そっち使うよね、という話です。

参考: What is the computational complexity of an SVM? - Quora

Comments

[1mzmk]

そういうことだったのですね。
自分が予想していた以上にデータ数が計算コストに影響しているんですね。
納得できました。
ご丁寧にありがとうございました。