cupyでforループの途中にいきなり計算速度が遅くなる

Question

google colaboratoryにてcupyを使用した計算を行っているのですが、forループを実行していると、ある回数を超えると数式の実行速度が0.1~0.5ms程度から10msほどに低下します。
メモリ不足かと思ったのですが、GPUメモリは宣言した行列に比べて余裕があります。
なぜ実行速度が低下してしまうのでしょうか。
実行環境とコードは以下となります。
他に必要な情報等ございましたらご返信ください。
どうぞよろしくお願いいたします。

OS : Ubuntu 18.04.5 LTS
CPU: Intel(R) Xeon(R) CPU @ 2.20GHz 2コア
Mem: 12GB
GPU: Tesla P100-PCIE 16GB

import time
import cupy as cp
cdot = cp.dot
cdiff = cp.diff
cmultiply = cp.multiply
csubtract = cp.subtract
cfloat32 = cp.float32
cfloat64 = cp.float64
ccopy = cp.copy
cadd = cp.add

a = 1500
b = 1000

c = a*b
d = a/b
e = 0.001

x = 10000
y = 10000
print(x,y)
avet = 0
t1 = 0
t2 = 0
time1 = 0
N = 1000

DIFF  = cp.ones((x+1,y+1),dtype=cfloat32)
ANS   = cp.zeros((x+1,y+1),dtype=cfloat32)
coef1 = cp.zeros((x+1,y),dtype=cfloat32)
coef2 = cp.zeros((x+1,y),dtype=cfloat32)

coef1 = (a*c*e) + coef1
coef2 = (b*d*e) + coef2

for loop in range(N):
  t1 = time.time()
  ANS[:,0:y] = cadd(cmultiply(cdiff(DIFF,n=1,axis=1),coef1),\
                         cmultiply(cdiff(DIFF,n=1,axis=1),coef2),out=ANS[:,0:y])
  ANS[:,0:1] = 0.0
  ANS[:,y:y+1] = 0.0
  t2 = time.time()
  print(t2-t1)
  time1 += t2-t1
avet = time1 / N
print(avet)```

Answer 1

おそらく、gpuの計算時間をtime.time()で測っていたため同期ズレにより計算時間が遅くなったように見えたようです。
gpuとcpuの同期をおこなったところ、最初から最後までだいたい同じ実行時間になりました。