実現したいこと
ポケモンのalphazero(モンテカルロ、deeplearning、強化学習)を作っています。ループでなぜか一回多く行われてしまいます。エラーを解決したいです。
発生している問題・分からないこと
ループでなぜか一回多く行われてしまいます。エラーを解決したいです。そのためエラーが発生しています
エラーメッセージ
error
1WARNING:tensorflow:No training configuration found in the save file, so the model was *not* compiled. Compile it manually. 21/1 [==============================] - 0s 110ms/step 3battle実行されました 40 51 6モンテカルロ 6 7c1 (Jolteon(271), BodySlam, [Jolteon(271)]) 8サンダース が技のしかかりをつかった! 9こうかはいまひとつ... 0.5 10サイドン が20をうけた 11❤️ サイドン 残りHP 331 12サイドン技いわなだれを使った! 13急所に当たりました! 14こうかはばつぐんだ! 1.5 15サンダースが271を受けた 16⭐️ サンダース 残りHP 0 17len(self.child_nodes) 1 18argmax 0 19turn 1 20len(pucb_values) 1 21pucb_values [array([0., 0., 0., 0.], dtype=float32)] 22index <class 'numpy.int64'> 23index 0 24len(self.child_nodes) 1 25self.child_nodes [<__main__.pv_mcts_scores.<locals>.Node object at 0x17a4326d0>] 26len(self.child_nodes) 1 27argmax 2 28turn 2 29len(pucb_values) 1 30pucb_values [array([1. , 1. , 1.5, 1. ], dtype=float32)] 31index <class 'numpy.int64'> 32index 2 33len(self.child_nodes) 1 34self.child_nodes [<__main__.pv_mcts_scores.<locals>.Node object at 0x17a4326d0>] 35--------------------------------------------------------------------------- 36IndexError Traceback (most recent call last) 37Cell In[91], line 44 38 42 c2hp=player1[0].actual_hp 39 43 result=((c1,-1,-1,c1hp),(c2,-1,-1,c2hp)) 40---> 44 next_action=action1(result) 41 45 winner = battle.get_winner() 42 46 #ゲーム終了時 43 44Cell In[89], line 117, in pv_mcts_action.<locals>.pv_mcts_action(state) 45 116 def pv_mcts_action(state): 46--> 117 scores = pv_mcts_scores(model, state, temperature,winner) 47 118 rng=np.random.default_rng() 48 119 return rng.choice([0,1,2,3], p=scores) 49 50Cell In[89], line 102, in pv_mcts_scores(model, state, temperature, winner) 51 100 # 複数回の評価の実行 52 101 for _ in range(PV_EVALUATE_COUNT): 53--> 102 root_node.evaluate() 54 104 # 合法手の確率分布 55 105 scores = nodes_to_scores(root_node.child_nodes) 56 57Cell In[89], line 64, in pv_mcts_scores.<locals>.Node.evaluate(self) 58 59 return value 59 61 # 子ノードが存在する時 60 62 else: 61 63 # アーク評価値が最大の子ノードの評価で価値を取得 62---> 64 value = self.next_child_node().evaluate() 63 66 # 累計価値と試行回数の更新 64 67 self.w += value 65 66Cell In[89], line 95, in pv_mcts_scores.<locals>.Node.next_child_node(self) 67 93 print("len(self.child_nodes)",len(self.child_nodes)) 68 94 print("self.child_nodes",self.child_nodes) 69---> 95 return self.child_nodes[a] 70 71IndexError: list index out of range
該当のソースコード
python
1from dual_network import DN_INPUT_SHAPE 2from math import sqrt 3from tensorflow.keras.models import load_model 4from pathlib import Path 5import numpy as np 6import battle 7from battle import Battle 8import pokedex as p 9import moves as m 10 11# パラメータの準備 12PV_EVALUATE_COUNT = 50 # 1推論あたりのシミュレーション回数(本家は1600) 13 14# 推論 15def predict(model, state): 16 # 推論のための入力データのシェイプの変換 17 x=np.array(state) 18 x=x.reshape(1,4,2) 19 20 # 推論 21 y=model.predict(x,batch_size=1) 22 23 # 方策の取得 24 policies=y[0][0:4] 25 26 # 価値の取得 27 value=y[1][0] 28 29 return policies, value 30 31# ノードのリストを試行回数のリストに変換 32def nodes_to_scores(nodes): 33 scores = [] 34 for c in nodes: 35 scores.append(c.n) 36 return scores 37 38# モンテカルロ木探索のスコアの取得 39#def pv_mcts_scores(model, p1_is,p1_mae_action,p1_took_damage,p1_nokorihp,p1_is,p2_mae_action,p2_took_damage,p2_nokorihp, temperature): #stateに8つの状態 40def pv_mcts_scores(model, state, temperature,winner=None): #stateに8つの状態 41# モンテカルロ木探索のノードの定義 42 class Node: 43 player1=[ 44 p.Jolteon([m.BodySlam(),m.DoubleKick(),m.PinMissle(),m.Thunderbolt()]) 45 ] 46 47 player2=[ 48 p.Rhydon([m.Earthquake(), m.RockSlide(), m.Surf(), m.BodySlam()]) 49 ] 50 51 # ノードの初期化 52 def __init__(self, state, p,winner): 53 self.state = state # 状態 54 self.p = p # 方策 55 self.w = 0 # 累計価値 56 self.n = 0 # 試行回数 57 self.winner=winner 58 self.child_nodes = None # 子ノード群 59 (self.p1_is,self.p1_mae_action,self.p1_took_damage,self.p1_nokorihp),(self.p1_is,self.p2_mae_action,self.p2_took_damage,self.p2_nokorihp)=state 60 self.turn=0 61 62 # 局面の価値の計算 63 def evaluate(self): #Battle が入る 64 # ゲーム終了時 65 if self.winner is not None: 66 # 勝敗結果で価値を取得 67 #print("hplen",len(self.p1_nokorihp)) 68 battle=Battle(player1,player2) 69 value = 0 if self.winner == player1 else -1 70 71 # 累計価値と試行回数の更新 72 self.w += value 73 self.n += 1 74 return value 75 76 # 子ノードが存在しない時 77 if not self.child_nodes: 78 # ニューラルネットワークの推論で方策と価値を取得 79 policies, value = predict(model, state) 80 81 # 累計価値と試行回数の更新 82 self.w += value 83 self.n += 1 84 85 86 # 子ノードの展開 87 self.child_nodes = [] 88 a=[6,7,8,9] 89 for action, policy in zip(a, policies): 90 battle=Battle(player1,player2) 91 zyoutai=battle.forward_step(self.p1_nokorihp,self.p2_nokorihp,action) 92 winner = battle.get_winner() 93 self.child_nodes.append(Node(zyoutai, policy,winner)) 94 95 96 return value 97 98 # 子ノードが存在する時 99 else: 100 # アーク評価値が最大の子ノードの評価で価値を取得 101 value = self.next_child_node().evaluate() 102 103 # 累計価値と試行回数の更新 104 self.w += value 105 self.n += 1 106 return value 107 108 # アーク評価値が最大の子ノードを取得 109 def next_child_node(self): 110 # アーク評価値の計算 111 C_PUCT = 1.0 112 t = sum(nodes_to_scores(self.child_nodes)) 113 pucb_values = [] 114 #print("前 child_nodes",len(self.child_nodes)) 115 for child_node in self.child_nodes: 116 pucb_values.append((-child_node.w / child_node.n if child_node.n else 0.0) + 117 C_PUCT * child_node.p * sqrt(t) / (1 + child_node.n)) 118 self.turn+=1 119 120 # アーク評価値が最大の子ノードを返す 121 print("argmax",np.argmax(pucb_values)) 122 print("turn",self.turn) 123 print("len(pucb_values)",len(pucb_values)) 124 print("pucb_values",pucb_values) 125 index=np.argmax(pucb_values) 126 a = index.item() 127 print("index",type(index)) 128 print("index",index) 129 print("len(self.child_nodes)",len(self.child_nodes)) 130 print("self.child_nodes",self.child_nodes) 131 return self.child_nodes[a] 132 133 # 現在の局面のノードの作成 134 root_node = Node(state, 0,winner) 135 136 # 複数回の評価の実行 137 for _ in range(PV_EVALUATE_COUNT): 138 root_node.evaluate() 139 140 # 合法手の確率分布 141 scores = nodes_to_scores(root_node.child_nodes) 142 if temperature == 0: # 最大値のみ1 143 action = np.argmax(scores) 144 scores = np.zeros(len(scores)) 145 scores[action] = 1 146 else: # ボルツマン分布でバラつき付加 147 scores = boltzman(scores, temperature) 148 return scores 149 150# モンテカルロ木探索で行動選択 151def pv_mcts_action(model, temperature=0): 152 def pv_mcts_action(state): 153 scores = pv_mcts_scores(model, state, temperature,winner) 154 rng=np.random.default_rng() 155 return rng.choice([0,1,2,3], p=scores) 156 return pv_mcts_action 157 158# ボルツマン分布 159def boltzman(xs, temperature): 160 xs = [x ** (1 / temperature) for x in xs] 161 return [x / sum(xs) for x in xs]
python
1import moves as m 2import pokedex as p 3from damage import calculate_damage 4 5# 動作確認 6if __name__ == '__main__': 7 # モデルの読み込み 8 path = sorted(Path('./model').glob('*.h5'))[-1] 9 model = load_model(str(path)) 10 winner=None 11 # 状態の生成 12 player1=[ 13 p.Jolteon([m.BodySlam(),m.DoubleKick(),m.PinMissle(),m.Thunderbolt()]) 14 ] 15 16 player2=[ 17 p.Rhydon([m.Earthquake(), m.RockSlide(), m.Surf(), m.BodySlam()]) 18 ] 19 20 battle=Battle(player1,player2) 21 22 # モンテカルロ木探索で行動取得を行う関数の生成 23 action1 = pv_mcts_action(model, 1.0) 24 25 result=None 26 while True: 27 if result is not None: 28 if winner is not None: 29 print("バトルは終了しました") 30 break 31 else: 32 result=battle.forward_step(action=next_action) 33 next_action=action1(result) 34 else: 35 #1番目(resultない) 36 #result= battle.forward_step() 37 if player1[0].spe > player2[0].spe: 38 c1=1 39 c2=0 40 c1hp=player1[0].actual_hp 41 c2hp=player2[0].actual_hp 42 else: 43 c1=0 44 c2=1 45 c1hp=player2[0].actual_hp 46 c2hp=player1[0].actual_hp 47 result=((c1,-1,-1,c1hp),(c2,-1,-1,c2hp)) 48 next_action=action1(result) 49 winner = battle.get_winner() 50 #ゲーム終了時 51 if winner is not None or battle.turn > 500: 52 break
試したこと・調べたこと
- teratailやGoogle等で検索した
- ソースコードを自分なりに変更した
- 知人に聞いた
- その他
上記の詳細・結果
ループでなぜか2回実行されていることがわかりました。
補足
stateはシェイプ(4,2)
回答1件
あなたの回答
tips
プレビュー