ループが止まらない。

Question

実現したいこと

ポケモンのalphazero(モンテカルロ、deeplearning、強化学習)を作っています。エラーを解決してバトルを学習してもらいたいです。

発生している問題・分からないこと

ループが止まらない。HPが0なのに続いている。
winner = battle.get_winner()
がうまく機能していないと思っている。

エラーメッセージ

(コメントに記載,print文の実行結果もあり)

該当のソースコード

from dual_network import DN_INPUT_SHAPE
from math import sqrt
from tensorflow.keras.models import load_model
from pathlib import Path
import numpy as np
import battle
from battle import Battle
import pokedex as p
import moves as m

# パラメータの準備
PV_EVALUATE_COUNT = 50 # 1推論あたりのシミュレーション回数（本家は1600）

# 推論
def predict(model, state):
    # 推論のための入力データのシェイプの変換
    x=np.array(state)
    x=x.reshape(1,4,2)

    # 推論
    y=model.predict(x,batch_size=1)

    # 方策の取得
    policies=y[0][0:4]

    sei_policies=[]

    for a in policies[0]:
        sei_policies.append(a)

    # 価値の取得
    value=y[1][0]

    return sei_policies, value    

# ノードのリストを試行回数のリストに変換
def nodes_to_scores(nodes):
    scores = []
    for c in nodes:
        scores.append(c.n)
    return scores

# モンテカルロ木探索のスコアの取得
#def pv_mcts_scores(model, p1_is,p1_mae_action,p1_took_damage,p1_nokorihp,p1_is,p2_mae_action,p2_took_damage,p2_nokorihp, temperature): #stateに8つの状態
def pv_mcts_scores(model, state, temperature,winner=None): #stateに8つの状態
# モンテカルロ木探索のノードの定義
    class Node:
        player1=[
            p.Jolteon([m.BodySlam(),m.DoubleKick(),m.PinMissle(),m.Thunderbolt()])
                ]

        player2=[
            p.Rhydon([m.Earthquake(), m.RockSlide(), m.Surf(), m.BodySlam()])
                ]
        
        # ノードの初期化
        def __init__(self, state, p,winner):
            self.state = state # 状態
            self.p = p # 方策
            self.w = 0 # 累計価値
            self.n = 0 # 試行回数
            self.winner=winner
            self.child_nodes = None  # 子ノード群
            (self.p1_is,self.p1_mae_action,self.p1_took_damage,self.p1_nokorihp),(self.p1_is,self.p2_mae_action,self.p2_took_damage,self.p2_nokorihp)=state
            self.turn=0
            
        # 局面の価値の計算
        def evaluate(self): #Battle が入る
            # ゲーム終了時
            if self.winner is not None:
                # 勝敗結果で価値を取得
                #print("hplen",len(self.p1_nokorihp))
                battle=Battle(player1,player2)
                value = 0 if self.winner == player1 else -1

                # 累計価値と試行回数の更新
                self.w += value
                self.n += 1
                return value

            # 子ノードが存在しない時
            if not self.child_nodes:
                # ニューラルネットワークの推論で方策と価値を取得
                policies, value = predict(model, self.state)

                print("policies",policies)
                print("value",value)

                # 累計価値と試行回数の更新
                self.w += value
                self.n += 1

                
                # 子ノードの展開
                self.child_nodes = []
                a=[6,7,8,9]
                for action, policy in zip(a, policies):
                    battle=Battle(player1,player2)
                    zyoutai=battle.forward_step(self.p1_nokorihp,self.p2_nokorihp,action)
                    winner = battle.get_winner()
                    self.child_nodes.append(Node(zyoutai, policy,winner))


                return value

            # 子ノードが存在する時
            else:
                # アーク評価値が最大の子ノードの評価で価値を取得
                value = self.next_child_node().evaluate()

                # 累計価値と試行回数の更新
                self.w += value
                self.n += 1
                return value

        # アーク評価値が最大の子ノードを取得
        def next_child_node(self):
            # アーク評価値の計算
            C_PUCT = 1.0
            t = sum(nodes_to_scores(self.child_nodes))
            pucb_values = []
            print("前 child_nodes",len(self.child_nodes))
            for child_node in self.child_nodes:
                print("child_node.p",child_node.p)
                pucb_values.append((-child_node.w / child_node.n if child_node.n else 0.0) +
                    C_PUCT * child_node.p * sqrt(t) / (1 + child_node.n))
                self.turn+=1

            # アーク評価値が最大の子ノードを返す
            print("pucb_values",pucb_values)
            print("argmax",np.argmax(pucb_values))
            print("turn",self.turn)
            print("len(pucb_values)",len(pucb_values))
            index=np.argmax(pucb_values)
            a = index.item()
            print("index",type(index))
            print("index",index)
            print("len(self.child_nodes)",len(self.child_nodes))
            print("self.child_nodes",self.child_nodes)
            return self.child_nodes[a]

    # 現在の局面のノードの作成
    root_node = Node(state, 0,winner)

    # 複数回の評価の実行
    for _ in range(PV_EVALUATE_COUNT):
        root_node.evaluate()

    # 合法手の確率分布
    scores = nodes_to_scores(root_node.child_nodes)
    if temperature == 0: # 最大値のみ1
        action = np.argmax(scores)
        scores = np.zeros(len(scores))
        scores[action] = 1
    else: # ボルツマン分布でバラつき付加
        scores = boltzman(scores, temperature)
    return scores

# モンテカルロ木探索で行動選択
def pv_mcts_action(model, temperature=0):
    def pv_mcts_action(state):
        scores = pv_mcts_scores(model, state, temperature,winner)
        rng=np.random.default_rng()
        return rng.choice([0,1,2,3], p=scores)
    return pv_mcts_action

# ボルツマン分布
def boltzman(xs, temperature):
    xs = [x ** (1 / temperature) for x in xs]
    return [x / sum(xs) for x in xs]

import moves as m
import pokedex as p
from damage import calculate_damage

# 動作確認
if __name__ == '__main__':
    # モデルの読み込み
    path = sorted(Path('./model').glob('*.h5'))[-1]
    model = load_model(str(path))
    winner=None
    # 状態の生成
    player1=[
        p.Jolteon([m.BodySlam(),m.DoubleKick(),m.PinMissle(),m.Thunderbolt()])
        ]

    player2=[
        p.Rhydon([m.Earthquake(), m.RockSlide(), m.Surf(), m.BodySlam()])
        ]

    battle=Battle(player1,player2)

    # モンテカルロ木探索で行動取得を行う関数の生成
    action1 = pv_mcts_action(model, 1.0)

    result=None
    while True:
        if result is not None:
            if winner is not None:
                print("バトルは終了しました")
                break
            else:
                result=battle.forward_step(action=next_action)
                next_action=action1(result)
        else:
            if winner is not None:
                print("バトルは終了しました")
                break
            #１番目(resultない)
            #result= battle.forward_step()
            if player1[0].spe > player2[0].spe:
                c1=1
                c2=0
                c1hp=player1[0].actual_hp
                c2hp=player2[0].actual_hp
            else:
                c1=0
                c2=1
                c1hp=player2[0].actual_hp
                c2hp=player1[0].actual_hp
            result=((c1,-1,-1,c1hp),(c2,-1,-1,c2hp))
            next_action=action1(result)
        winner = battle.get_winner()
        #ゲーム終了時
        if winner is not None or battle.turn > 500:
            break

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

コードとエラーを見て、winner = battle.get_winner()
がうまく機能していないと思いました。

補足

参考　AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門
macM1
jupyter notebook

Comments

[8524ba23]

https://teratail.com/help/avoid-asking#question
https://teratail.com/help/question-tips#questionTips11
https://teratail.com/help/question-tips#questionTips35
https://teratail.com/help/question-tips
は読みましたか？
読んだ結果を本文に反映ください。解決のヒントを探れるかもしれません。

[miraimirai]

エラーメッセージ
WARNING:tensorflow:No training configuration found in the save file, so the model was *not* compiled. Compile it manually.
1/1 [==============================] - 0s 106ms/step
policies [1.0365372e-36, 1.4505721e-18, 1.0, 1.6264764e-22]
value [1.]
battle実行されました
0
3
モンテカルロ 6
c1 (Jolteon(271), BodySlam, [Jolteon(271)])
サンダース が技のしかかりをつかった!
こうかはいまひとつ... 0.5
サイドン が19をうけた
❤️ サイドン 残りHP 332
サイドン技のしかかりを使った!
サンダースが135を受けた
⭐️ サンダース 残りHP 136
battle実行されました
1
1
モンテカルロ 7
c1 (Jolteon(136), DoubleKick, [Jolteon(136)])
サンダース が技にどげりをつかった!
こうかはばつぐんだ！ 2
サイドン が60をうけた
❤️ サイドン 残りHP 272
サイドン技いわなだれを使った!
サンダースが136を受けた
⭐️ サンダース 残りHP 0
battle実行されました
2
2
モンテカルロ 8
c1 (Jolteon(0), PinMissle, [Jolteon(0)])
サンダース が技ミサイルばりをつかった!
サイドン が20をうけた
❤️ サイドン 残りHP 252
サイドン技なみのりを使った!
サンダースが0を受けた
⭐️ サンダース 残りHP 0
battle実行されました
3
1
モンテカルロ 9
c1 (Jolteon(0), Thunderbolt, [Jolteon(0)])
サンダース が技10万ボルトをつかった!
こうかはいまひとつ... 0
サイドン が0をうけた
❤️ サイドン 残りHP 252
サイドン技いわなだれを使った!
急所に当たりました！
こうかはばつぐんだ！ 1.5
サンダースが0を受けた
⭐️ サンダース 残りHP 0
前 child_nodes 4
child_node.p 1.0365372e-36
child_node.p 1.4505721e-18
child_node.p 1.0
child_node.p 1.6264764e-22
pucb_values [0.0, 0.0, 0.0, 0.0]
argmax 0
turn 4
len(pucb_values) 4
index <class 'numpy.int64'>
index 0
len(self.child_nodes) 4
self.child_nodes [<__main__.pv_mcts_scores.<locals>.Node object at 0x303043a50>, <__main__.pv_mcts_scores.<locals>.Node object at 0x303650c10>, <__main__.pv_mcts_scores.<locals>.Node object at 0x30369fe50>, <__main__.pv_mcts_scores.<locals>.Node object at 0x3036d2110>]
1/1 [==============================] - 0s 8ms/step
policies [4.088272e-31, 1.0, 1.9188026e-18, 1.2690159e-25]
value [1.]
battle実行されました
0
2
モンテカルロ 6
c1 (Jolteon(0), BodySlam, [Jolteon(0)])
サンダース が技のしかかりをつかった!
こうかはいまひとつ... 0.5
サイドン が21をうけた
❤️ サイドン 残りHP 231
サイドン技なみのりを使った!
サンダースが0を受けた
⭐️ サンダース 残りHP 0
battle実行されました
1
1
モンテカルロ 7
c1 (Jolteon(0), DoubleKick, [Jolteon(0)])
サンダース が技にどげりをつかった!
こうかはばつぐんだ！ 2
サイドン が62をうけた
❤️ サイドン 残りHP 169
サイドン技いわなだれを使った!
サンダースが0を受けた
⭐️ サンダース 残りHP 0
battle実行されました
2
2
モンテカルロ 8
c1 (Jolteon(0), PinMissle, [Jolteon(0)])
サンダース が技ミサイルばりをつかった!
サイドン が20をうけた
❤️ サイドン 残りHP 149
サイドン技なみのりを使った!
サンダースが0を受けた
⭐️ サンダース 残りHP 0
battle実行されました
3
1
モンテカルロ 9
c1 (Jolteon(0), Thunderbolt, [Jolteon(0)])
サンダース が技10万ボルトをつかった!
こうかはいまひとつ... 0
サイドン が0をうけた
❤️ サイドン 残りHP 149
サイドン技いわなだれを使った!
技は外れました！
サンダースが0を受けた
⭐️ サンダース 残りHP 0
前 child_nodes 4
child_node.p 1.0365372e-36
child_node.p 1.4505721e-18
child_node.p 1.0
child_node.p 1.6264764e-22
pucb_values [array([-1.], dtype=float32), 1.4505721497113927e-18, 1.0, 1.6264764436105582e-22]
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
Cell In[8], line 48
46 c2hp=player1[0].actual_hp
47 result=((c1,-1,-1,c1hp),(c2,-1,-1,c2hp))
---> 48 next_action=action1(result)
49 winner = battle.get_winner()
50 #ゲーム終了時

Cell In[5], line 120, in pv_mcts_action.<locals>.pv_mcts_action(state)
119 def pv_mcts_action(state):
--> 120 scores = pv_mcts_scores(model, state, temperature,winner)
121 rng=np.random.default_rng()
122 return rng.choice([0,1,2,3], p=scores)

Cell In[5], line 105, in pv_mcts_scores(model, state, temperature, winner)
103 # 複数回の評価の実行
104 for _ in range(PV_EVALUATE_COUNT):
--> 105 root_node.evaluate()
107 # 合法手の確率分布
108 scores = nodes_to_scores(root_node.child_nodes)

Cell In[5], line 67, in pv_mcts_scores.<locals>.Node.evaluate(self)
62 return value
64 # 子ノードが存在する時
65 else:
66 # アーク評価値が最大の子ノードの評価で価値を取得
---> 67 value = self.next_child_node().evaluate()
69 # 累計価値と試行回数の更新
70 self.w += value

Cell In[5], line 89, in pv_mcts_scores.<locals>.Node.next_child_node(self)
87 # アーク評価値が最大の子ノードを返す
88 print("pucb_values",pucb_values)
---> 89 print("argmax",np.argmax(pucb_values))
90 print("turn",self.turn)
91 print("len(pucb_values)",len(pucb_values))

File ~/.pyenv/versions/anaconda3-2023.09-0/lib/python3.11/site-packages/numpy/core/fromnumeric.py:1229, in argmax(a, axis, out, keepdims)
1142 """
1143 Returns the indices of the maximum values along an axis.
1144
(...)
1226 (2, 1, 4)
1227 """
1228 kwds = {'keepdims': keepdims} if keepdims is not np._NoValue else {}
-> 1229 return _wrapfunc(a, 'argmax', axis=axis, out=out, **kwds)

File ~/.pyenv/versions/anaconda3-2023.09-0/lib/python3.11/site-packages/numpy/core/fromnumeric.py:56, in _wrapfunc(obj, method, *args, **kwds)
54 bound = getattr(obj, method, None)
55 if bound is None:
---> 56 return _wrapit(obj, method, *args, **kwds)
58 try:
59 return bound(*args, **kwds)

File ~/.pyenv/versions/anaconda3-2023.09-0/lib/python3.11/site-packages/numpy/core/fromnumeric.py:45, in _wrapit(obj, method, *args, **kwds)
43 except AttributeError:
44 wrap = None
---> 45 result = getattr(asarray(obj), method)(*args, **kwds)
46 if wrap:
47 if not isinstance(result, mu.ndarray):

ValueError: setting an array element with a sequence. The requested array has an inhomogeneous shape after 1 dimensions. The detected shape was (4,) + inhomogeneous part.

[miraimirai]

文字数が上限に達したのでこちらに追記します。クラスbattle、インデントがなくなってしまい申し訳ないです。
import moves as m
import pokedex as p
from damage import calculate_damage
from random import randint

def choose_action(self) :#ランダム攻撃
return randint(6,9)
#raise NotImplementedError

def get_spe_ordered_pokemon(c1, c2) :
if c1[0].spe > c2[0].spe:
return (c1, c2)
if c1[0].spe < c2[0].spe:
return (c2, c1)
return (c1, c2) if random() > 0.5 else (c2, c1)

def get_available_pokemons(pokemons):
return [p for p in pokemons if p.actual_hp > 0]

def is_dead(pokemons):
return len(get_available_pokemons(pokemons)) == 0

def is_move(action) -> bool:
return action >= 6

class Battle:
def __init__(self,player1,player2):
self.player1=player1
self.player2=player2
self.turn = 0

def forward_step(self,hp1=None,hp2=None,action=None):
print("battle実行されました")
self.turn += 1
if action is not None:
action1=action
else:
#１回目の時
if(action == -1):
action1 = choose_action(self.player2)
action2 = choose_action(self.player1)
#result=(action1,action2,player1_took_damage,player2_took_damage)

active_pokemon1=self.player1[0]
active_pokemon2=self.player2[0]

print(action1 - 6)
print(action2 - 6)
print("モンテカルロ",action)

if is_move(action1) and is_move(action2):
# to handle both player choose a move
c1, c2 = get_spe_ordered_pokemon(
(active_pokemon1, active_pokemon1.actual_moves[action1 - 6], self.player1),
(active_pokemon2, active_pokemon2.actual_moves[action2 - 6], self.player2),
)
print("c1",c1)

#print(f"{c1[2]}'の {c1[0]} が技{c1[1]}をつかった!")
print(f"{c1[0].name_ja} が技{c1[1].name_ja}をつかった!")
damage = calculate_damage(c1[0], c2[0], c1[1])
took_damage1=damage
if hp1 is not None and c1 == self.player1:
c1[0].actual_hp=hp1
c2[0].actual_hp=hp2
elif hp1 is not None and c1 == self.player2:
c2[0].actual_hp=hp1
c1[0].actual_hp=hp2
c2[0].actual_hp -= damage
#print(f"{c2[2]}の {c2[0]} が{damage}をうけた")
print(f"{c2[0].name_ja} が{damage}をうけた")
print("❤️",c2[0].name_ja,"残りHP",c2[0].actual_hp)
if c2[0].actual_hp > 0:
print(f"{c2[0].name_ja}技{c2[1].name_ja}を使った!")
damage = calculate_damage(c2[0], c1[0], c2[1])
took_damage2=damage
c1[0].actual_hp -= damage
print(f"{c1[0].name_ja}が{damage}を受けた")
print("⭐️",c1[0].name_ja,"残りHP",c1[0].actual_hp)

if c1 == self.player1:
return ((0,action1,took_damage1,c1[0].actual_hp),(1,action2,took_damage2,c2[0].actual_hp))
else:
return ((0,action2,took_damage2,c2[0].actual_hp),(1,action1,took_damage1,c1[0].actual_hp))

def get_winner(self):
if is_dead(self.player1):
return self.player2
if is_dead(self.player2):
return self.player1

def validate(self):
for pokemons in (self.player1,self.player2):
if len([p for p in pokemons if len(p.actual_moves) == 0]) > 0:
raise ValueError("Pokemon must have at least one move")

def run(self):
self.validate()
while True:
self.forward_step()
winner = self.get_winner()
if winner is not None:
print(f"{winner} won the battle!")
return winner
if self.turn > 500:
raise Exception("Battle is too long")

def run1(self,hp1=None,hp2=None):
self.validate()
action=self.forward_step(self,hp1=hp1,hp2=hp2)
winner = self.get_winner()

if action is not None:
reward = 0
if winner == self.player1:
print("優勝はlearner")
reward = 1
return reward
elif winner == self.player2:
print("優勝はopponent")
reward = -1
return reward
elif battle.turn > 500:
print("ターンが長い")
reward = -0.1
return reward
else:
print("バトル中")

[melian]

エラーが発生しているのは np.argmax(pucb_values) です。

　pucb_values [array([-1.], dtype=float32), 1.4505721497113927e-18, 1.0, 1.6264764436105582e-22]
　　　　　:
　Cell In[5], line 89, in pv_mcts_scores.<locals>.Node.next_child_node(self)
　87 # アーク評価値が最大の子ノードを返す
　88 print("pucb_values",pucb_values)
　---> 89 print("argmax",np.argmax(pucb_values))

実際に動作確認をしてみると、同じエラーが発生します。

　>>> import numpy as np
　>>> x = [np.array([-1.]), 1.4505721497113927e-18, 1.0, 1.6264764436105582e-22]
　>>> x
　[array([-1.]), 1.4505721497113927e-18, 1.0, 1.6264764436105582e-22]
　>>> np.argmax(x)
　Traceback (most recent call last):
　　File "<stdin>", line 1, in <module>
　　　　　:
　ValueError: setting an array element with a sequence. The requested array has an inhomogeneous shape after 1 dimensions. The detected shape was (4,) + inhomogeneous part.

本来、pucb_values は以下の様に float 値を要素とするリストになるはずなのですが、上記の様に先頭の要素が numpy.ndarray になっています。

　pucb_values [0.0, 0.0, 0.0, 0.0]

原因はおそらく、predict() 関数の戻り値の一つである value がスカラー値ではなく numpy.ndarray になっているからでしょう。

　WARNING:tensorflow:No training configuration found in the save file, so the model was *not* compiled. Compile it manually.
　1/1 [==============================] - 0s 106ms/step
　policies [1.0365372e-36, 1.4505721e-18, 1.0, 1.6264764e-22]
　value [1.] ### <== [1.] ではなく 1.0 になるはず
　battle実行されました
　0
　3