JuliaのCuArraysにおいて、要素にアクセスしたい

Question

Julia(v. 1.4.0)についてもCUDA（CUDA Toolkit：v.10.2.89; cuDNN：v.7.6; CuArrays：v.2.1.0）についても、手探りで勉強中です。
ネットで英語サイトも含め検索してみましたがこれといった情報を見つけることが出来なかったため、表題の件につきましてご教示いただけますと幸いです。

以下のコードのように、どうしてもある要素だけを変更したいと考えています。
なお、エラーが出る最小限のコード＋変数・引数も適当であるため、この処理自体には何の意味もありません。

using Flux, CuArrays

a = rand(3,3) |> gpu
CuArrays.allowscalar(false)
a[1, 1] = 1.0f0

allowscalarをfalseにしているため

ERROR: scalar setindex! is disallowed

と出るのは当たり前なのですが、かといってallowscalarを外すと

Performing scalar operations on GPU arrays: This is very slow, consider disallowing these operations with allowscalar(false)

と出ます。ちなみに外した場合は、後述するa .+= b版より2倍くらい早いという結果になりました。
また、念のため要素にアクセスする部分の前後でallowscalarをオンオフさせてみましたが、当然ながら（？）一桁違うレベルで遅くなりました。

次に、以下のように一度cpu上で別の行列を作成し、それをgpu上で行列の足し算をしてみました。

b = zeros(Float32, 3, 3)
b[1, 1] = 1.0f0
b = b |> gpu
a .+= b

しかし、GPU上だけで処理が出来たと仮定した

a .*= 1.0f0 # GPU上で何か処理をしたつもりのダミー計算
a .+= a # GPU上で何か処理をしたつもりのダミー計算

版の方が上記のa .+= b版より4倍ぐらい早いという結果になりました。
前述した通り、a .+= b版よりもallowscalarをtrueにした方が（2倍）早いですし、
allowscalarをfalseにしてGPUだけで処理が出来ればもっと早いと考えています。
特に実際の処理はもう少しあるため、その差がより大きくなると予想されます。

改めまして、CuArrayにおいて要素にアクセスし、値を変更するにはどうしたらよいでしょうか？
よろしくお願いいたします。

Answer 1

一応，今はCuArrayは非推奨だったと思うので，CUDAモジュールと仮定して話をします。

allowscalarをfalseにしてGPUだけで処理が出きれば…

まぁ，できなくはないという感じですが，やはりCPUからのロードに時間がかかるので
速くはないと思います。
下はa[1,1]に-1を代入するコード例です。

using CUDA

a = CuArray(rand(Float32, 3, 3));

a .*= CuArray([0f0 1f0 1f0;
               1f0 1f0 1f0;
               1f0 1f0 1f0]);

a += CuArray([-1f0 0f0 0f0;
              0f0 0f0 0f0;
              0f0 0f0 0f0]);

9倍のデータをCPUとやり取りしているので，やはりオーバーヘッドが気になるところです。
一度に半分ぐらいの要素を代入するなら考える価値はあるでしょう。