DQNにて、ε-greedy法からボルツマン選択に変更したい

Question

前提・実現したいこと

Deep Q-Networkを使った迷路探索プログラムにおいて行動選択の方法をε-greedy法からボルツマン選択法に変更したいのですが、プログラム知識がなく実装できずにいます。

私事の期限が近いため、教えてくださると幸いです。

該当のソースコード

	def get_action(self, state):
		sta = [state]
		sta = xp.asarray(sta, dtype=np.float32)
		s = Variable(sta)
		Q = self.model(s)
		Q = Q.data[0]
		print Q
		#εの確率でランダムな行動をする(ランダムの時の行動価値は0)
		if np.random.rand() < self.epsilon:
			#18は行動の最大数(3*3*2)
			return np.random.randint(0, 3), 0
		#行動価値が一番高い行動とその値を返す
		else:
			#stateの配列を学習時に合わせる
			#sta = [state]
			#sta = xp.asarray(sta, dtype=np.float32)
			#s = Variable(sta)
			#Q = self.model(s)
			#Q = Q.data[0]
			a = np.argmax(Q)
			return xp.asarray(a, dtype=np.int8), max(Q)
	#行動選択のεの値更新(下がるだけ)
	def reduce_epsilon(self):
		#最小値より多くて設定時間を超えていれば
		if self.epsilon > self.epsilon_min and self.exploration < self.goal:	
			self.epsilon -= self.epsilon_decay

https://github.com/gallardo22/DQN-chainer

補足情報（FW/ツールのバージョンなど）

processing 3.4
python anaconda3-4.4.0
numpy 1.15.1
chainer 5.0.0(ニューラルネットワーク動かすためのもの)
pyautogui 0.9.38(キーボード操作、ディスプレイ内の画像検索するため)

Answer 1

import random
import numpy as np

def argmax_random_choice(list_):
    #二次元以上のリストを渡したらここでエラーが起きる
    max_value = max(list_)
    max_value_indices = [i for i, v in enumerate(list_) if v == max_value]
    return random.choice(max_value_indices)

def boltzmann_distribution(array, temperature_parameter):
    #本来は2次元以上でも計算可能ではあるが、実用的に使わなさそうなので、エラーを起こす
    assert array.ndim == 1, "配列は1次元でなければならない"

    if temperature_parameter == 0:
        result = np.zeros([len(array)])
        result[argmax_random_choice(array)] = 1
        return result
    return array ** (1 / temperature_parameter) / np.sum(array ** (1 / temperature_parameter))

def boltzmann_random(array, temperature_parameter):
    boltzmann_array = boltzmann_distribution(array, temperature_parameter)
    random_value = random.uniform(0, 1)
    threshold = 0
    for i, value in enumerate(boltzmann_array):
        threshold += value
        if random_value < threshold:
            return i
    return i

#行動価値
array = np.array([0.5, 0.3, 0.2])
#temperature_parameter = 0であれば最大値のみを選択する
action_index = [boltzmann_random(array, 0) for _ in range(10000)]
print([action_index.count(i) for i in range(len(array))])
#temperature_parameterを大きくするほどランダム性が高まる 1であれば行動価値に応じた確率で行動を起こす
action_index = [boltzmann_random(array, 1) for _ in range(10000)]
print([action_index.count(i) for i in range(len(array))])

boltzmann_randomに一次元の行動価値の配列を渡して使います。

Comments

[退会済みユーザー]

ご回答ありがとうございます。

ご提示いただいたプログラムはそのまま引用して使えるものでしょうか？

NameError: global name 'boltzmann_distribution' is not defined
のエラーが出てしまいます。

[puroko3]

こちらでは動作確認は出来てます。
boltzmann_distributionを同じ場所に置いていますか?

後このコードには2点ほど問題がありますね。
行動価値が全て0である場合と行動価値にマイナス値が含まれている場合は、正しく動かないです。
0の方は完全にランダムで返すようにすればいいだけですが、マイナス値の方は、マイナスが含まれないようにスケールしなおす必要がありますね。

[退会済みユーザー]

ご返信に気付けず申し訳ありません。

boltzmann_distributionを同じ場所に置くとはどういうことでしょうか？

行動価値についてのご意見ありがとうございます。
行動価値が0のときは
return np.random.randint(0, 3), 0
でランダムに返すことはできていませんか？

[puroko3]

boltzmann_randomを呼び出す時に、boltzmann_distributionを同じモジュールに置いていますか？という事です。

すいません、このコードというのは私が書いたコードの事です。

[退会済みユーザー]

ご返信ありがとうございます。

・実際に使用する際にはいただいたコードをコピペして元のコードに貼っただけではできないということでしょうか？

・勘違いしていました。すいません