勾配降下法において絶対値誤差ではなく二乗誤差を使用する理由

Question

勾配降下法において絶対値誤差ではなく二乗誤差を使用する理由として、「絶対値誤差はy=0の時に微分ができないため二乗誤差を使用する。」のような記述をされていることが多いと思います。
この理由に対して、「誤差が0になったのなら微分する必要がないのでは？」と思ったので、絶対値誤差で良いように思えました。
なので、誤差が0でも微分が必要な例や二乗誤差を使用する他の理由がありましたら教えていただきたいです。

Answer 1

二乗誤差を使用する他の理由は、「統計学的に気持ち良いから」だそうです。

参考: 最尤推定
最小二乗法 = 誤差に平均0の正規分布を仮定した場合の最尤推定

参考: 平均二乗誤差（MSE）はどこから来るのですか？確率論的観点から見た平均二乗誤差

Comments

[panda_]

回答ありがとうございます！
最小二乗法は誤差が平均0の正規分布に従うと仮定した状態だったんですね。確かに、ほとんどの場合は正規分布に従っていそうなので納得できました。
ということは、誤差の分布を可視化してその分布を利用した最尤推定を行うことで、最適なモデルが構築できそうですね！