深層学習の学習曲線はなぜloss値が上下するのか？（なぜ単調減少でないのか？）

ディープラーニングの学習曲線について、epochを増やして学習を重ねているのに、なぜlossが上がったりすることがあるのでしょうか？

例えば、以下の図では、train_lossも、test_accuracyも単調減少、単調増加ではなく、たまに上下しています。自分なりに考えた仮説は以下ですが、他にも理由はありますでしょうか？（図はイメージなので、この図を出した学習方法に依存した回答でなくて問題ありません）

１、SGDを使っている場合、勾配更新が選択したミニバッチに依存するため、真の微分係数とは別の方向に更新されてしまうことがある　（train_lossがばらつくのもこれが主原因？）
２、損失関数の底での振動
３、損失関数が多峰性であり、局所解を抜ける途中

また、この例だと、test_accuracyは下にスパイク(外れ値)を出していますが、逆に上にスパイクを出す場合、最終的なパラメータはスパイクしたものも含めてtest_accuracyの一番高い値を選択すべきでしょうか？それとも、（判断基準は必要ですが）スパイクしていないものの中で最大値を取得するべきでしょうか？

考え方として、汎化性能が高いパラメータを選択する、という意味合いでスパイクも含めてパラメータ選定すべきかと思いますが、スパイク値となっているパラメータを採用するのがどうも気持ち悪いです（例えば、全体の学習曲線の傾向に関係なく、1つだけtest_accuracyの高いスパイクが発生している場合など）。