numpy.whereでエージェントの初期位置のインデックスを決定したいです

Question

前提・実現したいこと

PythonにてQ学習のプログラムを組んでみました。
具体的には迷路をQ学習で解くプログラムです。
######エージェントのスタート位置の決定方法をできるだけ汎用性を高くするため、numpy.where関数を用いてスタートのインデックスを決定しようと思っています。

繰り返し学習を行うので、その都度reset()で初期座標に戻します。
しかし、毎回スタートのインデックスがずれていしまいます。
今回使用した迷路は左下がスタート、右下がゴールなので、エージェントの初期位置は常に[13,1]を返してほしいのですが、、、
改善方法等教えていただければ幸いです。
使用した迷路は壁を0、通路を1、スタートを2、ゴールを3で表現した15x15の配列です。
また、main()内で1度通った道を4に書き換えていくことで、引き返さないようにしています。

迷路の配列
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 1 1 1 0 1 1 1 1 1 1 1 1 1 0
0 1 0 1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 1 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 0 0 1 0 0 0 0 0 1 0
0 1 0 1 0 1 1 1 1 1 0 1 1 1 0
0 1 0 1 0 1 0 1 0 0 0 0 0 0 0
0 1 0 1 0 1 0 1 1 1 1 1 1 1 0
0 1 0 1 0 1 0 0 0 0 0 1 0 0 0
0 1 0 1 0 1 1 1 1 1 0 1 1 1 0
0 0 0 1 0 1 0 0 0 1 0 0 0 0 0
0 1 1 1 0 1 0 1 1 1 1 1 1 1 0
0 1 0 0 0 1 0 0 0 0 0 0 0 1 0
0 2 0 1 1 1 1 1 0 1 1 1 1 3 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

発生している問題・エラーメッセージ

Episode:1,
start:[[13]
 [ 1]]
Episode:2,
start:[[14]
 [ 1]]
Episode:3,
start:[[13]
 [ 1]]
Episode:4,
start:[[12]
 [ 2]]
Episode:5,
start:[[12]
 [ 2]]
Episode:6,
start:[[13]
 [ 2]]
Episode:7,
start:[[14]
 [ 2]]
Episode:8,
start:[[13]
 [ 2]]
Episode:9,
start:[[13]
 [ 1]]
Episode:10,
start:[[13]
 [ 2]]
Episode:11,
start:[[12]
 [ 3]]
Episode:12,
start:[[10]
 [ 4]]
Episode:13,
start:[[11]
 [ 4]]
Episode:14,
start:[[11]
 [ 4]]

該当のソースコード

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
class MyEnviromentSimurator():
    def __init__(self, maze_name):
        self._maze=np.loadtxt(f'{maze_name}', delimiter=' ',dtype='int32')
        self._base=np.loadtxt(f'{maze_name}', delimiter=' ',dtype='int32')
        self._prime=np.where(self._base==2)
        self.reset()
    
    def reset(self):
        self._maze=self._base #迷路のリセット
        self._state=list(self._prime) #初期座標のリセット
        return np.array(self._maze), np.array(self._state)

    def step(self, action): #報酬設定
        reward=0
        if action==0:
            self._state[0]-=1
        elif action==1:
            self._state[1]+=1
        elif action==2:
            self._state[0]+=1
        else:
            self._state[1]-=1
        b=self._maze[self._state[0], self._state[1]]
        if b==3: #goal
            reward=1
        elif b==0: #wall
            reward=-1
        elif b==1: #road
            reward=-0.01
        else: #start
            reward=-0.5
        return np.array(self._state), reward

class MyQtable():
    def __init__(self, maze_size):
        self._Qtable=np.zeros((4, maze_size, maze_size))

    def get_action(self, state, epsilon):
        if epsilon > np.random.uniform(0, 1):
            next_action=np.random.choice([0, 1, 3, 4])
        else:
            a=np.where(self._Qtable[:, state[0], state[1]]==self._Qtable[:, state[0], state[1]].max())[0]
            next_action=np.random.choice(a)
        return next_action

    def update_Qtable(self, state, action, next_state, reward):
        alpha=0.5
        gamma=0.9
        next_maxQ=max(self._Qtable[:, next_state[0], next_state[1]])
        self._Qtable[action, state[0], state[1]] = (1-alpha)*self._Qtable[action, state[0], state[1]] + alpha*( reward + gamma*next_maxQ )
        return self._Qtable

def main():
    maze_size=15
    maze_name='maze15x15_0.txt'
    num_episodes=500
    max_number_of_steps=300
    epsilon=np.linspace(start=0.0, stop=0.0, num=num_episodes)
    env=MyEnviromentSimurator(maze_name)
    tab=MyQtable(maze_size)
    for episode in range(num_episodes):
        maze, state=env.reset()
        print(f'Episode:{episode+1},\nstate:{state}')
        episode_reward=0
        for t in range(max_number_of_steps):
            action=tab.get_action(state, epsilon[episode])
            next_state, reward=env.step(action)
            q_table=tab.update_Qtable(state, action, next_state, reward)
            state=next_state
            maze[state[0], state[1]]=4
            episode_reward+=reward
            if episode_reward<=-0.5 or episode_reward>0:
                break

if __name__=='__main__':
    main()

試したこと

スタート位置を直接数値として与えた場合は迷路を解くことが出来ました。なので、プログラム全体としては間違ってはいないと思います。

補足情報（FW/ツールのバージョンなど）

python 3.8.8
numpy 1.20.2

Answer 1

    def reset(self):
        self._maze=self._base #迷路のリセット
        self._state=list(self._prime) #初期座標のリセット
        return np.array(self._maze), np.array(self._state)

では、self._mazeがself._baseと同じものになってしまっています。
そのため、次回からは変更された_baseをもとに開始してしまいます。

    def reset(self):
        self._maze=self._base.copy #迷路のリセット
        self._state=list(self._prime) #初期座標のリセット
        return np.array(self._maze), np.array(self._state)

に修正してコピーを使うようにしましょう。

Comments

[tebask]

無事に改善することが出来ました。
ありがとうございました。