教科書記載の、Q学習の一番基本的なコードの内容を理解したい。

Question

前提・実現したいこと

強化学習のQ学習の教科書の簡単なコードの内容を理解したいです。
なお、教科書は下記のものになります。
「行動データの計算論モデリング: 強化学習モデルを例として(片平健太郎著)」

教科書のQ学習のコードの解読をしているのですが、「フィットするモデルの設定」より前の部分が果たしてる役割が、よく理解できていません。
「フィットするモデルの設定」より前の部分が、行動価値Qの値を算出しているのは分かるのですが、その値が、「フィットするモデルの設定」に対して、どのように渡されて、どこで使われているのかが、分かりません。
基本的な内容で恐縮ですが、何卒、宜しくお願い致します。

該当のソースコード

# ----------------------------------------------------- #
# Q学習モデルのシミュレーションにより選択データを生成し，
# そのデータから最尤推定をする。
# ----------------------------------------------------- #

# メモリ，グラフのクリア
rm(list=ls())
graphics.off()

# 描画のためのライブラリ読み込み
library(tidyverse)
library(gridExtra)

# 乱数のシードの設定 
set.seed(141)

# Q学習モデルのシミュレーションによるデータ生成 -------------------------------------------------

# 試行数
T <- 80

# Q 値の初期化( 選択肢の数x T)
Q <- matrix(numeric(2*T), nrow=2, ncol=T)

c <- numeric(T)
r <- numeric(T) 
pA <- numeric(T) 

alpha <- 0.3     # 学習率
beta <- 2.0      # 逆温度

# それぞれの選択肢の報酬確率
pr <- c(0.7,0.3)

for (t in 1:T) {
  
  # ソフトマックスで選択肢A の選択確率を決定する
  pA[t] <- 1/(1+exp(-beta*(Q[1,t]-Q[2,t])))
  
  if (runif(1,0,1) < pA[t]) {
    # Aを選択
    c[t] <- 1
    r[t] <- as.numeric(runif(1,0,1) < pr[1])
  } else {
    # Bを選択
    c[t] <- 2
    r[t] <- as.numeric(runif(1,0,1) < pr[2])
  }
  
  # 行動価値の更新
  if (t < T) {
    
    Q[c[t],t+1] <- Q[c[t],t] + alpha * (r[t] - Q[c[t],t] ) 
    
    # 選択肢していない行動の価値はそのままの値を次の時刻に引き継ぐ。
    # 3-c でc=1 なら2, c=2 なら1, というように
    # 逆側の選択肢のインデックスが求まる。
    Q[3-c[t],t+1] <- Q[3-c[t],t]
  }
}
# フィットするモデルの設定 ------------------------------------------------------------

# Q-learning
func_qlearning <- function(param, choice, reward)
{
  T <- length(choice)
  alpha <- param[1]
  beta <- param[2]
  
  # 短い名前の変数に持ち替える
  c <- choice
  r <- reward
  
  pA <- numeric(T) 

  # Q 値の初期化( 選択肢の数x T)
  Q <- matrix(numeric(2*T), nrow=2, ncol=T)
  
  # 対数尤度を格納する変数
  ll <- 0
  
  for (t in 1:T) {
    
    # ソフトマックスで選択肢A の選択確率を決定する
    pA[t] <- 1/(1+exp(-beta * (Q[1,t]-Q[2,t])))
    
    # 試行tの対数尤度は実際の選択がA (c=1) であれば log(pA[t]), 
    # B (c=2) であればlog(1 - pA[t]) となる
    ll <- ll + (c[t]==1) * log(pA[t]) +  (c[t]==2) * log(1-pA[t])
    
    # 行動価値の更新
    if (t < T) {
      
      Q[c[t],t+1] <- Q[c[t],t] + alpha * (r[t] - Q[c[t],t] ) 
      
      # 選択肢していない行動の価値はそのままの値を次の時刻に引き継ぐ
      Q[3-c[t],t+1] <- Q[3-c[t],t]
    }
  }
  return(list(negll = -ll,Q = Q, pA = pA))
}

# 最適化により最小化する負の対数尤度を返すラッパー関数
func_minimize <- function(modelfunc, param, choice, reward)
{
  ret <- modelfunc(param, choice, reward)
  
  # 負の対数尤度のみ返す
  return(ret$negll)
}

# 非線形最適化による最尤推定 -----------------------------------------------------------

# 負の対数尤度の最小値を格納する変数 (最初は無限大にしておく)  
fvalmin <- Inf

for (idx in 1:10) {
  
  # 初期値を一様乱数から決める
  initparam <- runif(2, 0, 1.0)
  
  # 最適化の実行
  res <- optim(initparam, func_minimize,
              hessian = TRUE, 
              modelfunc = func_qlearning, 
              choice=c, reward=r)
  
  # 今までの解より負の対数尤度が小さかったらその結果を採用する
  if (res$value < fvalmin) {
    paramest <- res$par
    fvalmin <- res$value
  }
}

print(sprintf("alpha - True value: %.2f, Estimated value: %.2f", alpha, paramest[1]))
print(sprintf("beta  - True value: %.2f, Estimated value: %.2f", beta, paramest[2]))
print(sprintf("Model 1: log-likelihood: %.2f, AIC: %.2f", -fvalmin, 2*fvalmin + 2*2))

# 求めた最尤推定値をもとに，行動価値や選択確率のP(a=A)を改めて計算する
ret <- func_qlearning(paramest, choice=c, reward=r)
Qest <- ret$Q
pAest <- ret$pA

試したこと

関数func_qlearning の定義がされる前の箇所で導出されたQの値が、「フィットするモデルの設定」に対して、どのように渡されて、どこで使われているのかが、分かりません。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[hoshi-takanori]

お使いの教科書のタイトルを書いたら、それを読んだ人が答えてくれる可能性が高まります。その際は、質問文を編集して質問文中にお書きください。

[YYJP]

ありがとうございます。修正しました！

Answer 1

Qの値が、「フィットするモデルの設定」に対して、どのように渡されて、どこで使われているのか

ソースファイルを見ればどこで使われているかはすぐに分かると思います。
そして、その値は最終的にリストの一要素として呼び出し元に返されています。

    # 行動価値の更新
    if (t < T) {

      Q[c[t],t+1] <- Q[c[t],t] + alpha * (r[t] - Q[c[t],t] ) 

      # 選択肢していない行動の価値はそのままの値を次の時刻に引き継ぐ
...

これで納得できないことがあるなら、もう少し質問を具体的に補足してください。

Comments

[YYJP]

ご回答下さり、ありがとうございます。下記に張り付けたコードの前半部が、どのような役割を果たしているかを知りたいです。
下記のコードに続く、func_qlearning 関数の定義以降の箇所でも、下記のコードとほとんど同じ処理がなされいてるように思うので、コードの前半部は、なんのために存在しているのか、が分かりません。一方で、前半部を消して実行したところ、エラーになったので、なんらかの役割を果たしているのだろう、というところまでは、理解できています・・・。

# Q学習モデルのシミュレーションによるデータ生成 -------------------------------------------------

# 試行数
T <- 80

# Q 値の初期化( 選択肢の数x T)
Q <- matrix(numeric(2*T), nrow=2, ncol=T)

c <- numeric(T)
r <- numeric(T)
pA <- numeric(T)

alpha <- 0.3 # 学習率
beta <- 2.0 # 逆温度

# それぞれの選択肢の報酬確率
pr <- c(0.7,0.3)

for (t in 1:T) {

# ソフトマックスで選択肢A の選択確率を決定する
pA[t] <- 1/(1+exp(-beta*(Q[1,t]-Q[2,t])))

if (runif(1,0,1) < pA[t]) {
# Aを選択
c[t] <- 1
r[t] <- as.numeric(runif(1,0,1) < pr[1])
} else {
# Bを選択
c[t] <- 2
r[t] <- as.numeric(runif(1,0,1) < pr[2])
}

# 行動価値の更新
if (t < T) {

Q[c[t],t+1] <- Q[c[t],t] + alpha * (r[t] - Q[c[t],t] )

# 選択肢していない行動の価値はそのままの値を次の時刻に引き継ぐ。
# 3-c でc=1 なら2, c=2 なら1, というように
# 逆側の選択肢のインデックスが求まる。
Q[3-c[t],t+1] <- Q[3-c[t],t]
}
}

[KojiDoi]

> 下記に張り付けたコードの前半部が、どのような役割を果たしているか

func_minimizeの実行に必要なc,rを準備していますね。

その中でQは中間データの保持に使われ、またループを回る際に「ひとつ先」の中間データを都度作り出す構造になっています。どれかなくなれば「未定義で計算が出来ません」エラーが発生し得ますね。

私Qlearningとやらには詳しくないので、それぞれの「計算式」の役割については答えられません。そのへんは教科書を見てください。

[YYJP]

ご回答頂きありがとうございます。授業が月曜日で、分からないと答えて乗り切った後、他の課題に取り組んでいました。
まだ少し疑問があるのですが、またこちらの課題に取り組む際に、改めて質問させて頂こうと思います。
ご多忙な中、本当にありがとうございました。