深層学習 学習が進むということはデータに法則性がある？

Question

前提・実現したいこと

深層学習を最近勉強し始めました．
「訓練時の学習で精度が上がるということは，データに法則性があるということだ」
という記述を何処かで読んだ気がするのですが，何処で読んだか覚えていません．
この記述は正しいのでしょうか？

この記述が正しく，訓練時に学習が進むことがデータに法則性があることを保証する場合，
過学習がおきているので，データを増やした　→　訓練時の精度が上がらなくなった
という現象は現実問題として起こりえないのでしょうか？

要領を得ない質問かもしれませんが，どうぞよろしくお願いいたします．
アドバイスや参考となる文献などを紹介して頂けると幸いです．

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

過去に同じような質問をされてる方がおられ，既に解決していたので，そのリンクを貼っときます．
https://teratail.com/questions/138927