一個前の動作に戻す処理の方法

Question

###前提・実現したいこと
Q学習を用いて最適な経路を求めるプログラムを作成しています。
0<x<250、0<y<250内を0-25のエリアに分割し、スタートからゴールまでの経路をQ学習を用いて求めています。
エリアの外に出たとき、また障害物に当たった時に一個前の動作に戻して試行を繰り返したいと考えています。

###発生している問題・エラーメッセージ
0<x<250、0<y<250の外に出たとき、また障害物に当たった時に一個前の動作に戻して試行を繰り返したいのですが方法に悩んでいます。
何かいい方法があれば教えていただきたいです!
よろしくお願いします。

###ソースコード

#define _CRT_SECURE_NO_WARNINGS
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#define _USE_MATH_DEFINES
#include <math.h>

typedef struct car {
	double x;	//現在位置x
	double y;	//現在位置y
	double dx;	//次の位置x
	double dy;	//次の位置y
	double max_x;	//xの最大値
	double max_y;	//yの最大値
	int s;
	int sd;
	int L = 50;
}agent;

int move(car *agent, int a, int sd);
int select_action(car *agent, int num_a, double** Qtable);
double max_Qval(car *agent, int num_a, double** Qtable);
int epsilon_greedy(car *agent, int epsilon, int num_a, double** Qtable);
int xy2s(car *agent, int a);

int main() {
	FILE *file;
	file = fopen("car.csv", "w");
	car agent;

	int num_step;	//ステップ数
	int num_trial; //試行回数
	int i, j;
	int a;
	double alpha, gamma;

	int reward; //報酬

	int num_a;	//行動
	int num_s;	//状態
	double **Qtable;
	double Qmax;
	int epsilon;

	//パラメータの設定
	alpha = 0.5;
	gamma = 0.9;
	epsilon = 10;

	num_step = 500;
	num_trial = 1000;

	num_a = 4;

	//エリアの数
	num_s = 25;
	int sepa = 5;

	//乱数の初期化
	srand((unsigned)time(NULL));

	//Q-table
	Qtable = new double*[num_s];
	for (i = 0; i < num_s; i++) {
		Qtable[i] = new double[num_a];
	}

	//Q-tableの初期化
	for (i = 0; i < num_s; i++) {
		for (j = 0; j < num_a; j++) {
			Qtable[i][j] = 0;
		}
	}

	//agentの初期設定
	agent.x = 0.0;
	agent.y = 0.0;
	agent.max_x = 250.0;
	agent.max_y = 250.0;
	agent.s = (int)agent.x / agent.L + (int)agent.y / agent.L * sepa;

	//学習開始
	for (i = 0; i < num_trial; i++) {
		fprintf(file, "i=%d\n", i);
		for (j = 0; j < num_step; j++) {
			fprintf(file, "j=%d\n", j);

			a = epsilon_greedy(&agent, epsilon, num_a, Qtable);
			agent.s = (int)agent.x / agent.L + (int)agent.y / agent.L * 2;
			
			agent.sd = move(&agent, a, agent.s);
			printf("%f,%f\n", agent.x, agent.y);

			//ここで障害物の設定
			//障害物があるagent.sに入るとrewardに-10が入る
			//Goalに入るとrewardに+10が入り試行を終了
			//その他はreward=0なのでそのまま続行

			if (agent.sd == 20) {
				reward = 10;
			}
			else if (agent.sd == 10 || agent.sd == 11 || agent.sd == 12) {
			reward = -10;
			}
			else {
				reward = 0;
			}

			Qmax = max_Qval(&agent, num_a, Qtable);
			Qtable[agent.s][a] = (1 - alpha)*Qtable[agent.s][a] + alpha * ((double)reward + gamma*Qmax);//??

			fprintf(file, "%f,%f,%d,%d,%d\n", agent.x, agent.y, a, agent.sd, agent.s);
			printf("%f,%f,%d,%d,%d,%d\n", agent.x, agent.y, agent.s,agent.sd,a,reward);

			if (reward < 0) {
				//失敗
				//ここで一つ前の処理に戻せないか?
				break;
			}
			else if (reward < 0) {
				//成功
				agent.x = 25.0;
				agent.y = 25.0;
				agent.s = (int)agent.x / agent.L + (int)agent.y / agent.L * sepa;
				break;
			}
			else {
				//続行
				agent.s = agent.sd;
			}
		}
	}
	fclose(file);
	return 0;
}

int move(car *agent, int a, int sd) {

	switch (a) {
	case 0://↑
		agent->dy = agent->y + 6.5;
		agent->y = agent->dy;
		break;
	case 1://→
		agent->dx = agent->x + 6.5;
		agent->x = agent->dx;
		break;
	case 2://↓
		agent->dy = agent->y - 6.5;
		agent->y = agent->dy;
		break;
	default://←
		agent->dx = agent->x - 6.5;
		agent->x = agent->dx;
		break;
	}
	//sdはアクションが起こった後のagent.sを表す
	agent->sd = (int)agent->x / agent->L + (int)agent->y / agent->L * 5;
	return sd;
}


int select_action(car *agent, int num_a, double**Qtable) {
	double max;
	int i = 0;
	int* i_max = new int[num_a];//?
	int num_i_max = 1;//?
	int a;
	i_max[0] = 0;//?
	max = Qtable[agent->s][0];//?

	for (i = 0; i < num_a; i++) {
		if (Qtable[agent->s][i] > max) {
			num_i_max = 1;
			i_max[0] = i;
		}
		else if (Qtable[agent->s][i] == max) {
			num_i_max++;
			i_max[num_i_max - 1] = i;
		}
	}

	a = i_max[rand() % num_i_max];
	return a;
}

double max_Qval(car *agent, int num_a, double** Qtable) {
	double max;
	int i = 0;

	max = Qtable[agent->s][0];//?
	for (i = 0; i < num_a; i++) {//1?
		if (Qtable[agent->s][i] > max) {
			max = Qtable[agent->s][i];
		}
	}
	return max;
}

int epsilon_greedy(car *agent, int epsilon, int num_a, double** Qtable) {
	int a;
	if (epsilon > rand() % 100) {
		a = rand() % num_a;
	}
	else {
		a = select_action(agent, num_a, Qtable);
	}
	return a;
}

###補足情報(言語/FW/ツール等のバージョンなど)

Answer 1

同一の構造体(agent)を２つ作って、初期あるいは成功時のデータを保持。
戻す必要があれば、書き戻す・・・じゃだめですか？

Comments

[mikamikan]

構造体を増やす方法は思いつきませんでした!
ありがとうございます!

[cateye]

「ひとつ前の状態を保持する」と言うのはいろんな場面で使います。
覚えておいて損はないですよｄ＾＾；