cnnの層数と学習枚数について

Question

層数が異なるcnnモデル(例えばalexnetとresnet)について、ハイパーパラメータを固定した際の、学習枚数とaccuracyの関係を調べています。学習枚数が少ない領域ですと層数が少ないモデルの方が精度がよく、学習枚数が増えるにつれ層数の深いモデルの方が精度が良くなります。
直感的には理解できるのですがその背景等がうまく説明できません。数学的な背景、又は関連する文献があれば教えていただきたく考えています。よろしくおねがいします。