Ｑ学習のcartpoleにおいて、離散化された状態のstateの取得の意味について

Question

Ｑ学習によるcartpoleの問題の勉強を始めました。
以下のコードはqiitaサイトより引用させていただいております。
https://qiita.com/sugulu/items/bc7c70e6658f204f85f9

最初の部分で躓いているのですが、コードというよりコードの意味について理解できずにおります。

#Q関数を離散化し定義する関数
#観測した状態をデジタル変換する

def bins(clip_min,clip_max,num):
    return np.linspace(clip_min,clip_max,num+1)[1:-1]

#各値を離散化に変換する
def digitize_state(observation):
    cart_pos,cart_v,pole_angle,pole_v=observation
    digitized=[np.digitize(cart_pos,bins=bins(-2.4,2.4,num_digitized)),
np.digitize(cart_v,bins=bins(-3.0,3.0,num_digitized)),
np,digitize(pole_angle,bins=bins(-0.5,0.5,num_digitized)),
np.digitize(pole_v,bins=bins(-2.0,2.0,num_digitized))]

    return sum([x*(num_dizitized**i) for i,x in enumerate(digitized)])

num_dizitized=6

#　カート、棒の状態をstate=digitize_state(observation)　で取得していくこととなる。
コード

最初の部分のコードの理解しようとしているのですが、なかなか理解が進まず困っています。

このdigitize_stateの方法で出力するものをstateとして定義していくとすると、np.digitizeで離散化したデータがcart_v<cart_pos<pole_angle<pole_vの順でenumerate関数を用いた内包表記部分で６の累乗分重要視された和が出力されていると考えているのですが、その理解は正しいでしょうか。

カートよりもポールの離散化された状態を重視し、ポールの離散化された速度を最も重視した値をdigitize_stateで出力している？？との理解が正しいのか悩んでおります。

なにかアドバイスを頂けますと幸いです。よろしくお願いいたします。

Answer 1

このdigitize_stateの方法で出力するものをstateとして定義していくとすると、np.digitizeで離散化したデータがcart_v<cart_pos<pole_angle<pole_vの順でenumerate関数を用いた内包表記部分で６の累乗分重要視された和が出力されていると考えているのですが、その理解は正しいでしょうか。

わかりづらいコードですね。。
コードを見ましたが、その理解であっていますよ。

digitize() の返り値を以下の重み付きで総和をとっています。

num_dizitized**0: cart_pos 
num_dizitized**1: cart_v
num_dizitized**2: pole_angle
num_dizitized**3: pole_v

元が4次元の状態を一次元にする必要があるので、このようなことをしていると思われます。

Comments

[yohehe]

tiitoi 様、ありがとうございます。

分かりづらくてコードの意味について悩んでいました。
重み付きで総和を取っているという理解であっていて安心しました。
少し分かりやすくしてコードを分かりやすくしてみます。

Answer 2

tiitoi 様、ありがとうございます。

分かりづらくてコードの意味について悩んでいました。
重み付きで総和を取っているという理解であっていて安心しました。
少し分かりやすくしてコードを分かりやすくしてみます。