Mnistで学習が進まない。

Question

最近、GPU搭載のPCを購入して機械学習をし始めましたが、簡単なRNNでエラーが出てしまい、MNISTでコードを動かしたところ以下のようなエラーが出ます。なおRNNとMNISTでのエラーは同じものです。ネットではメモリ不足などとありますが、自分のGPUはGeforceであり、問題ないと思うのですが。ご回答よろしくお願いします。
解決方法を教えてください。コメントアウトしているところはそれぞれ試みましたが解決しませんでした。
以下コードです。

import os
os.environ['TF_FORCE_GPU_ALLOW_GROWTH'] = 'true'

import numpy as np
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow import keras
from tensorflow.keras.layers import Dense, Activation
from tensorflow.keras.models import Sequential
from tensorflow.keras.utils import to_categorical
# tf.Session(config=tf.ConfigProto(device_count = {'GPU': 1}))

# config = tf.ConfigProto()
# config.gpu_options.allow_growth=True
# sess = tf.Session(config=config)

# gpus = tf.config.experimental.list_physical_devices('GPU')
# for gpu in gpus:
#     tf.config.experimental.set_memory_growth(gpu, True)
    
# config = tf.compat.v1.ConfigProto()
# config.gpu_options.allow_growth = True
# session = tf.compat.v1.Session(config=config)

# gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.9)

# tf.Session(config=tf.ConfigProto(gpu_options=gpu_options,allow_soft_placement=True))


np.random.seed(0)
(X_train_base, labels_train_base), (X_test, labels_test) = mnist.load_data()

X_train,X_validation,labels_train,labels_validation = train_test_split(X_train_base,labels_train_base,test_size = 0.2)


X_train = X_train.reshape(-1,784)
X_validation = X_validation.reshape(-1,784)
X_test = X_test.reshape(-1,784)


X_train = X_train.astype('float32')
X_validation = X_validation.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_validation /= 255
X_test /= 255

y_train = to_categorical(labels_train)
y_validation = to_categorical(labels_validation)
y_test = to_categorical(labels_test)


n_features = 784
n_hidden   = 100
bias_init = 0.1


rate       = 0.01


model = Sequential()


model.add(Dense(n_hidden,activation='relu',input_shape=(n_features,)))
model.add(Dense(n_hidden,activation='relu'))
model.add(Dense(n_hidden,activation='relu'))


model.add(Dense(10,activation='softmax'))


model.compile(optimizer=tf.optimizers.Adam(rate),
              loss='categorical_crossentropy', metrics=['mae', 'accuracy'])


log = model.fit(X_train, y_train, epochs=3000, batch_size=100, verbose=True,
                callbacks=[keras.callbacks.EarlyStopping(monitor='val_loss', 
                                                     min_delta=0, patience=10, 
                                                         verbose=1)],
                validation_data=(X_validation, y_validation))


pred_test = model.predict_classes(X_test)

validation = (pred_test == labels_test)
size       = validation.size
size
correct    = np.count_nonzero(validation)
print(f"{correct}/{size} correct ({correct*100/size:.3f}%)")

エラーは以下のようにでます。

WARNING:tensorflow:From /home/suzukiharumasa/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
Train on 48000 samples, validate on 12000 samples
Epoch 1/300
---------------------------------------------------------------------------
InternalError                             Traceback (most recent call last)
<ipython-input-3-a31cdad43806> in <module>
     48                                                      min_delta=0, patience=10,
     49                                                          verbose=1)],
---> 50                 validation_data=(X_validation, y_validation))
     51 
     52 # Test dataで予測を実行。

~/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/keras/engine/training.py in fit(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, validation_freq, max_queue_size, workers, use_multiprocessing, **kwargs)
    725         max_queue_size=max_queue_size,
    726         workers=workers,
--> 727         use_multiprocessing=use_multiprocessing)
    728 
    729   def evaluate(self,

~/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/keras/engine/training_arrays.py in fit(self, model, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, validation_freq, **kwargs)
    673         validation_steps=validation_steps,
    674         validation_freq=validation_freq,
--> 675         steps_name='steps_per_epoch')
    676 
    677   def evaluate(self,

~/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/keras/engine/training_arrays.py in model_iteration(model, inputs, targets, sample_weights, batch_size, epochs, verbose, callbacks, val_inputs, val_targets, val_sample_weights, shuffle, initial_epoch, steps_per_epoch, validation_steps, validation_freq, mode, validation_in_fit, prepared_feed_values_from_dataset, steps_name, **kwargs)
    392 
    393         # Get outputs.
--> 394         batch_outs = f(ins_batch)
    395         if not isinstance(batch_outs, list):
    396           batch_outs = [batch_outs]

~/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/keras/backend.py in __call__(self, inputs)
   3474 
   3475     fetched = self._callable_fn(*array_vals,
-> 3476                                 run_metadata=self.run_metadata)
   3477     self._call_fetch_callbacks(fetched[-len(self._fetches):])
   3478     output_structure = nest.pack_sequence_as(

~/anaconda3/envs/tf/lib/python3.7/site-packages/tensorflow_core/python/client/session.py in __call__(self, *args, **kwargs)
   1470         ret = tf_session.TF_SessionRunCallable(self._session._session,
   1471                                                self._handle, args,
-> 1472                                                run_metadata_ptr)
   1473         if run_metadata:
   1474           proto_data = tf_session.TF_GetBuffer(run_metadata_ptr)

InternalError: 2 root error(s) found.
  (0) Internal: Blas GEMM launch failed : a.shape=(100, 100), b.shape=(100, 100), m=100, n=100, k=100
	 [[{{node dense_1/MatMul}}]]
	 [[loss/mul/_93]]
  (1) Internal: Blas GEMM launch failed : a.shape=(100, 100), b.shape=(100, 100), m=100, n=100, k=100
	 [[{{node dense_1/MatMul}}]]
0 successful operations.
0 derived errors ignored.
​

Comments

[meg_]

コードは「コードの挿入｣で記入してください。

[Harumasa]

すいませんでした。更新し直しました。よろしくお願いします

[jbpb0]

> ネットではメモリ不足などとありますが、自分のGPUはGeforceであり、問題ないと思うのですが。

GeForceも機種によって搭載メモリーサイズが違います
お使いの機種は何でしょうか？

[Harumasa]

コメントありがとうございます。
使用しているのはGEFORCE RTX 3090でございます。1枚だけなのですが、メモリ的には十分だと思うのですが、

[jbpb0]

十分すぎますね

[jbpb0]

回答に書いたように、このコードでの実質的なGPUメモリー使用量は非常に少ないので、メモリー不足で落ちることは普通は起きないと思います

何か、環境構築上で問題があるのではないでしょうか？
もしそうなら、エラー回避をコードで工夫しようとしても、なかなか解決しないかもしれません

たとえば、PyTorchでもGPUを使う簡単なコードを動かしてみるとか
mnistでもいいですし
PyTorchでは大丈夫なら、TensorFlowが怪しいので入れ直してみるとか

PyTorchでもダメなら、CUDAが怪しいので入れ直してみるとか

Answer 1

当方のGeForce GTX 1080 Ti (メモリー11GB)で、すんなり動きました
ただし、TensorFlow 1.*での結果なので、参考になるかどうか

コードは、下記だけ変更しないと、エラーで動きませんでした (たぶんTF 1.*だから)
model.compile(optimizer=tf.optimizers.Adam(rate),
↓
model.compile(optimizer=tf.keras.optimizers.Adam(rate),

環境は、下記の通りです
Windows 10
CUDA10.0, cuDNN7.4
Python 3.7.9
tensorflow-gpu 1.15.3

コード実行時のGPUメモリー全使用量は、下記の通り
(下記の「コード追加」は、「os.environ...」のこと)
コード追加無し：9.9GB
コード追加有り：0.6GB (ただし、コード実行直前に0.4GB使用されていた)

Answer 2

TensorFlowがGPUのメモリーを使いすぎるのが原因なら、

import tensorflow...

よりも上に、下記を追加してみてください

import os
os.environ['TF_FORCE_GPU_ALLOW_GROWTH'] = 'true'

参考
https://teratail.com/questions/307392

Comments

[Harumasa]

ご回答ありがとうございます。試みたのですが、それでも解決しませんでした。
なお、試みたこととして質問のところに追加しました。

[jbpb0]

GPUのメモリー使用量をモニターしながら、コードを実行してみてください
https://dev.classmethod.jp/articles/monitor-nvidia-gpu-usage-with-nvidia-smi-nvsmi/

・コード実行前は、GPUメモリーがほとんど使われてないか？
　もしそこそこ使われてるなら、何かGPUを使う残骸プロセスが残ってるのかもしれない
・実行時のGPUメモリー使用量は、私が提示したコードの追加の有無で変わるか？
　コード追加してもGPUメモリー使用量の余裕が変わらないなら、batch_size=100を思いっきり減らしてみる
　TensorFlowは、コード追加しなければ、必要無くてもGPUメモリーのほとんどを確保してしまう
　コード追加すれば、必要な分だけ確保するはずなので、batch_sizeを十分に減らせば、それなりに使用量減るはず
・エラー発生時に、GPUメモリーの残り量はあるか？
　コード追加(+必要に応じてbatch_sizeの調整)でGPUメモリー残り量が十分増えたけれどエラー出るなら、原因が違うかも

Answer 3

ネットで調べた限りでは、

How to prevent tensorflow from allocating the totality of a GPU memory?

の問題の可能性が高いそうです。
つまり、tensorflowがGCUメモリを確保してしまい、残りのメモリが足りないということが起きる場合があるようです。

解決策は、

config.gpu_options.allow_growth=True

らしいので、

How to prevent tensorflow from allocating the totality of a GPU memory?

とか、

Release GPU memory after computation #1578

の中で検索して試してみると解決できるかもしれません。

Comments

[Harumasa]

すいません。上記のサイトの方法で試したのですが、まだ解決できません。
他の方法はありませでしょうか。また、追加の情報が必要であれば共有いたします。