機械学習における損失関数の意義とは?

Question

馬鹿げた質問でしたら申し訳ないのですが…．

以前Kerasを用いてMNISTの分類器を作成しました．そこで自作の損失関数を使用するという試みを行いました．
その際，出力と教師データに対して平均二乗誤差を定義し，その後に適当な定数(20など)を加算した結果を返すという設計にしました(どういう挙動になるのか興味本位で確認したかったからです)．
しかし，確かにfit時のlossの値自体には20の値が加算されていましたが，精度自体は標準の平均二乗誤差を用いた場合と変わりありませんでした．

これは，損失関数を各パラメータで微分して勾配を求める過程で，定数は微分すると0になるため，何ら影響を与えなかったということなのでしょうか?（=定数ではなく，変数を加算すると変化が生じる?）
それとも，損失関数というものはあくまで学習の指標であって，学習自体には影響を与えないのでしょうか?

Comments

[aokikenichi]

コードをみないと何とも言えませんがどこか設定を誤られているのかと

損失関数を最小化するように学習します。損失関数が定数を返すだけならば学習は進まないはずです

[wotaku]

すみません．表現が曖昧でした．
①単純に平均二乗誤差を返す
②平均二乗誤差の値に20を足して返す
の2パターンの損失関数を比較して精度に変化がなかった，というものです．

Answer 1

影響を与えません。
下に凸の二次曲線の最小値を与えるx座標の値を求める問題でy座標に+20してもx座標は変わらない理屈と同じです。

これは，損失関数を各パラメータで微分して勾配を求める過程で，定数は微分すると0になるため，何ら影響を与えなかったということなのでしょうか?（=定数ではなく，変数を加算すると変化が生じる?）

その通りですね。

それとも，損失関数というものはあくまで学習の指標であって，学習自体には影響を与えないのでしょうか?

これは違います。損失関数を最小化するのが学習です。

Comments

[wotaku]

返答が遅くなってしまい申し訳ありません．
よく考えれば，損失関数を各パラメータで微分したものが勾配として更新に使われるのですから，損失関数の式の形が学習に影響を与えないわけがありませんよね…．
ありがとうございました!!