二つのモデルを組み合わせたいんですが 謎のエラーが発生します
試したこと
前はこの部分 うまくいってましたが
コードを一部変えたら(モデル) このようなエラーが出ました
再起動などをしても消えません
print(target_paramtau,param)のところでエラーが出てます printはデバッグ用
target_paramtauにしたらエラーが出ました 理由がわかる人教えてください
モデル以外の変えたとこは戻してませんがモデルやモデルに使うデータに影響ないことは確認してます
追記 tauは変数(0.4) targetQN mainQNがモデル
def soft_update(self,tau): for target_param, param in zip(targetQN.parameters(), mainQN.parameters()): print(target_param*tau,param) target_param.data.copy_(target_param.data * (1.0 - tau) + param.data * tau)
--------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-1-c373342de22b> in <module> 583 else: 584 trin.Normal_replay(batch_size, gamma,step=episode,state_size=state_,action_size=acthon, --> 585 multireward_steps=multireward_steps,tau=tau,mord_update=mord_update) 586 if done or t==max_number_of_steps - 1: 587 env.reset() <ipython-input-1-c373342de22b> in Normal_replay(self, batch_size, gamma, step, state_size, action_size, multireward_steps, tau, mord_update) 346 optimizer.step() 347 self.tortal_losses+=loss.clone().detach().to('cpu') --> 348 self.soft_update(tau) 349 350 def Double_R2D2_IQN_pioritized_Nstep_NAF_replay(self,batch_size, gamma,step,state_size, action_size,multireward_steps,tau,mord_update): <ipython-input-1-c373342de22b> in soft_update(self, tau) 414 def soft_update(self,tau): 415 for target_param, param in zip(targetQN.parameters(), mainQN.parameters()): --> 416 print(target_param*tau,param) 417 target_param.data.copy_(target_param.data * (1.0 - tau) + param.data * tau) 418 TypeError: unsupported operand type(s) for *: 'Parameter' and 'NoneType'
追記2
if self.IQN: # Zτ(x,a) ≈ f(ψ(x) @ φ(τ))a bacth_size_c=x.size(0) tau=torch.randn(bacth_size_c,self.N,device ="cuda:0") rand_feat=self.IQN_net(tau) cate_x = (x.unsqueeze(1) * rand_feat).view(bacth_size_c * self.N,-1) if self.Dering: v=self.V(cate_x)-self.V_q(cate_x) else: v=self.V(cate_x) v=v.view(bacth_size_c, self.N,1) else: tau=None if self.Dering: v=self.V(x)-self.V_q(x) else: v=self.V(x)
どうやら この部分が原因みたいです
コードを一部変えたら(モデル)
このようなエラーが出ました なので変えた部分を戻したのにエラーが消えまん
と書きましたがファイルを変えたらなんか消えました
if self.Dering: v=self.V(x)-self.V_q(x) else: v=self.V(x)
なら問題はないのですが 理由がわかる方教えてください
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。