tensorflow,kerasでのGPUメモリエラーが解決できない

前提・実現したいこと

Linux環境でKeras環境構築をしています。

kerasのmodel.fit()を呼びだすとメモリのエラーが出るため、
メモリ制限をする下のようなコードを追加しましたが同じエラーが出ています。

事前にCudaなどのインストールも行いNVIDIA-SMIの出力も添付しました。

発生している問題・エラーメッセージ

Using TensorFlow backend.
>>> 
>>> config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
>>> session = tf.Session(config=config)
2020-02-14 09:56:48.083394: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA
2020-02-14 09:56:48.106596: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 3696000000 Hz
2020-02-14 09:56:48.108463: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x55dea78cf280 executing computations on platform Host. Devices:
2020-02-14 09:56:48.108518: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): <undefined>, <undefined>
2020-02-14 09:56:48.111281: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcuda.so.1
2020-02-14 09:56:48.252618: F tensorflow/stream_executor/lib/statusor.cc:34] Attempting to fetch value instead of handling error Internal: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY: out of memory; total memory reported: 8510832640
中止 (コアダンプ)

python
1# GPUメモリを制限したり初期化する設定
2import tensorflow as tf
3from keras.backend import tensorflow_backend
4
5config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
6session = tf.Session(config=config)
7tensorflow_backend.set_session(session)

試したこと

メモリ制限を行うことでメモリエラーが解決されることがあるようなので上のように制限しましたが、同じエラーが出ます。

補足情報（FW/ツールのバージョンなど）

Linux Ubuntu 18.04.4 LTS
anaconda 最新版
keras-gpu==2.2.4
tensorflow-gpu==1.14.0
Cuda=9.0

GTX 1080
GTX 1070ti

nvcc- V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Sep__1_21:08:03_CDT_2017
Cuda compilation tools, release 9.0, V9.0.176
（nvidia-smiではcuda10.1となっていますが、nvcc-Vで確認すると9.0でした）

+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 12535 C ...naconda3/envs/keras_condaenv/bin/python 101MiB |
| 0 14486 C ...naconda3/envs/keras_condaenv/bin/python 101MiB |
| 1 1397 G /usr/lib/xorg/Xorg 18MiB |
| 1 1436 G /usr/bin/gnome-shell 49MiB |
| 1 1705 G /usr/lib/xorg/Xorg 123MiB |
| 1 1838 G /usr/bin/gnome-shell 78MiB |
| 1 2200 G ...AAAAAAAAAAAAAAgAAAAAAAAA --shared-files 60MiB |
| 1 12535 C ...naconda3/envs/keras_condaenv/bin/python 7471MiB |
| 1 14486 C ...naconda3/envs/keras_condaenv/bin/python 237MiB |
+-----------------------------------------------------------------------------+