【ChainrRL】GPU使用率が上がらない

Question

chainerRLライブラリを使って強化学習をしていますが、GPU使用率が１%程度しか出ません。

バージョン
python 3.9
windows 10
visual studio 2019
CUDA 11.4
cuDNN 8.2.4
Chainer 7.8.1
cupy-cuda114

import chainer
import chainer.functions as F
import chainer.links as L
import chainerrl
import gym
import numpy as np
import cupy as cp
import time
from environment import MyEnv

env = MyEnv()
print(env.step(2))

obs = env.reset() #初期化

action = env.action_space.sample()
obs, r, done, info = env.step(action)

obs_size = env.observation_space.shape[0]
n_actions = env.action_space.n

obs_size = env.observation_space.shape[0]
n_actions = env.action_space.n

q_func = chainerrl.q_functions.FCStateQFunctionWithDiscreteAction(
    obs_size, n_actions,
    n_hidden_layers=13, n_hidden_channels=256)


q_func.to_gpu(0) ## GPU有効

optimizer = chainer.optimizers.Adam(eps=1e-2)
optimizer.setup(q_func) #設計したq関数の最適化にAdamを使う
gamma = 0.95
explorer = chainerrl.explorers.ConstantEpsilonGreedy(
    epsilon=0.3, random_action_func=env.action_space.sample)
replay_buffer = chainerrl.replay_buffer.ReplayBuffer(capacity = 10**6)
phi = lambda x:x.astype(np.float32, copy=False)##型の変換(chainerはfloat32型。float64は駄目)

agent = chainerrl.agents.DoubleDQN(
    q_func, optimizer, replay_buffer, gamma, explorer,
    replay_start_size=500, update_interval=1,
    target_update_interval=100, phi=phi)

#学習---------------------------------------------------------------------

n_episodes = 1000
max_episode_len = 2024
start = time.time()
for i in range(1, n_episodes + 1):
    obs = env.reset()
    reward = 0
    done = False
    R = 0  # return (sum of rewards)
    t = 0  # time step
    while not done and t < max_episode_len:
        env.render()# 動きを見たければここのコメントを外す
        action = agent.act_and_train(obs, reward)
        obs, reward, done, _ = env.step(action)
        R += reward
        t += 1
    if i % 10 == 0:
        print('episode:', i,
              'R:', R,
              'statistics:', agent.get_statistics())
    agent.stop_episode_and_train(obs, reward, done)
print('Finished, elapsed time : {}'.format(time.time()-start))


agent.save("hoge")

これを実行すると、ゆっくりではありますが、学習します。しかし、GPU効率は変わらず1％です。

nvidia-smi

で使用率を見ても、元々の5%から変わっていません。

import chainer
chainer.print_runtime_info()

を実行すると、

Platform: Windows-10-10.0.19043-SP0
Chainer: 7.8.1
ChainerX: Not Available
NumPy: 1.19.5
CuPy:
OS : Windows-10-10.0.19043-SP0
Python Version : 3.9.5
CuPy Version : 10.2.0
CuPy Platform : NVIDIA CUDA
NumPy Version : 1.19.5
SciPy Version : 1.6.3
Cython Build Version : 0.29.28
Cython Runtime Version : None
CUDA Root : C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4
nvcc PATH : C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\bin\nvcc.EXE
CUDA Build Version : 11040
CUDA Driver Version : 11060
CUDA Runtime Version : 11040
cuBLAS Version : 11502
cuFFT Version : 10500
cuRAND Version : 10205
cuSOLVER Version : (11, 2, 0)
cuSPARSE Version : 11600
NVRTC Version : (11, 4)
Thrust Version : 101201
CUB Build Version : 101201
Jitify Build Version : 4a37de0
cuDNN Build Version : 8302
cuDNN Version : 8204
NCCL Build Version : None
NCCL Runtime Version : None
cuTENSOR Version : None
cuSPARSELt Build Version : None
Device 0 Name : NVIDIA GeForce RTX 3090
Device 0 Compute Capability : 86
Device 0 PCI Bus ID : 0000:01:00.0
iDeep: Not Available

と表示され、一応はcudaなどは認識しているようです。
かれこれ２日くらい、いろいろ試しましたが自分では解決できませんでした。考えられる原因を教えてください。

#ちなみに、関係あるかどうかはわかりませんが、一応補足させていただきます。
tensorflowではGPUを認識していますが、pyTorchではGPUの認識さえされていませんでした。

Comments

[jbpb0]

> Chainer 7.8.1

> CuPy Version : 10.2.0

https://docs.chainer.org/en/stable/install.html#hardware-acceleration-support
の「Hardware Acceleration Support」の「Note」に
　CuPy v7.8.0 is the recommended version for Chainer v7 series.
と書かれてるので、cupy 10との組み合わせだとchainerでGPU使えないのではないですかね

> cupy-cuda114

> CUDA 11.4

https://docs.cupy.dev/en/v7.8.0/install.html#install-cupy
の「Install CuPy」を見ると、cupy 7.8.0がサポートしてるのはCUDA 11.0までのようです

CUDA 11.1用のcupy-cuda111には、7.8.0はありませんし
https://pypi.org/project/cupy-cuda111/#history

> python 3.9

cupy-cuda110 7.8.0がサポートしてるのはpython 3.8までですね
https://pypi.org/project/cupy-cuda110/7.8.0/#files
のファイル名の「cp数字」の数字が、対応してるpythonのバージョンです

Answer 1

バージョンの問題でした。
pyhton 3.8にしたところ、GPU使用率が上がりました。

解決のきっかけとなった回答をくださった方、ありがとうございました。