javax.swing.Timerで繰り返すと挙動が変になる

前提・実現したいこと

現在javax.swing.Timerクラスを使ってFPSゲーム(ボールが動くゲームと仮定する)を作っています。
その途中で、Timerを使って繰り返していく中、とあるプログラムを16ms(60FPS)に設定し、実行していたのですが今までのSystem.currentTimeMillis()とThread.sleep();を使ったFPS制御よりも動きがゆっくりになってしまいました。
始めはもしかして16ms(60FPS)が早すぎるのかもしれないと思い、33ms(30FPS)にしてみたのですが、それでもゆっくりになってしまい困っていました。
そしてなぜこんなに遅いのかが気になりSystem.out.println(System.currentTimeMillis());を使って、時々時間を計測しました。
すると、なぜか今までのゆっくり動いていたものよりも早くなり、正常に動くことが何度かありました。(正常に動いても時々早くなるだけですが、今までの物と比べると早く感じました。)
なぜSystem.out.println();で処理を加えたにもかかわらず今までよりも早くなったのか教えてください。
また、処理が遅くなる理由も教えてください。(ゆっくり動く理由)

<追伸1>
timer.setDelay(5);を使って今までの16msから5msに変えると処理が早くなった(早く動く)ので処理しきれないわけではなさそうです。

補足情報（FW/ツールのバージョンなど）

java version "16.0.1" 2021-04-20
Java(TM) SE Runtime Environment (build 16.0.1+9-24)
Java HotSpot(TM) 64-Bit Server VM (build 16.0.1+9-24, mixed mode, sharing)