使用するGPUでlossが変わる(Nanになる）

前提

Windows10 pro
tensorflow-gpu 2.3.0
python 3.6

実現したいこと

EfficientNetの学習において，
TITAN RTXを使用した場合は，下記のようにlossの値が出力されるのですが，
Quadro A6000を使用するとNanとなり，学習が進みません．
Quadro A6000でもlossが出力されるようにするにはどうしたらよいでしょうか？

発生している問題・エラーメッセージ

下は，Titan RTXでの結果で，Quadro A6000 では，loss のところがNanとなります．

  1/329 [..............................] - ETA: 1:39 - loss: 0.0871 - accuracy: 0.9375

該当のソースコード

python
1history=model.fit(
2    x=train_data,
3    steps_per_epoch=train_data.n // BATCH_SIZE,
4    epochs=EPOCHS,
5    workers=8,
6    shuffle=True,
7    validation_data=val_data,
8    validation_steps=val_data.n // BATCH_SIZE,
9    # validation_steps=None,
10    # callbacks=[term],
11    callbacks=[
12        tf.keras.callbacks.TensorBoard(
13            log_dir="log/" + datetime.datetime.now().strftime("%Y%m%d_%H%M%S"),
14            histogram_freq=1,
15        )
16    ],
17)

試したこと

ドライバを入れなおしましたが改善しませんでした．

ps_aux_grep

2022/12/21 18:19 編集

メモリサイズが不足したことによる計算時のメモリ領域範囲外アクセスの可能性が高いです． TITAN RTXを使用しているときにどのぐらいメモリを食うか確認して，Quadro A6000の6GBより少なく実行されるか検証した方が良いと考えます． https://datahax.jp/2021/05/19/persistence-m/ あとこれを参照してください．