質問編集履歴
3
再度変更しました。
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -26,7 +26,7 @@
|
|
|
26
26
|
|
|
27
27
|
|
|
28
28
|
|
|
29
|
-
条件の設定
|
|
29
|
+
#条件の設定
|
|
30
30
|
|
|
31
31
|
S = np.array(list(range(0,820)))#状態(1+9+9^2+9^3) #0~819までの行列
|
|
32
32
|
|
|
@@ -34,7 +34,7 @@
|
|
|
34
34
|
|
|
35
35
|
risk0 = np.array([0,3,0,1,4,1,6,0,1])#初期状態の件数
|
|
36
36
|
|
|
37
|
-
活動効果値
|
|
37
|
+
#活動効果値
|
|
38
38
|
|
|
39
39
|
r0 = 2*np.array([1,0.5,0.25,0.5,0.5,0.25,0.25,0.25,0.25])
|
|
40
40
|
|
|
@@ -54,7 +54,7 @@
|
|
|
54
54
|
|
|
55
55
|
r8 = 2*np.array([0.25,0.25,0.25,0.25,0.5,0.5,0.25,0.5,1])
|
|
56
56
|
|
|
57
|
-
次期の状態(S1=s11+s12)
|
|
57
|
+
#次期の状態(S1=s11+s12)
|
|
58
58
|
|
|
59
59
|
s11 = np.array(list(range(1,820))).reshape(91,9)
|
|
60
60
|
|
|
@@ -64,7 +64,7 @@
|
|
|
64
64
|
|
|
65
65
|
|
|
66
66
|
|
|
67
|
-
学習方法（ハイパーパラメータ)の設定
|
|
67
|
+
#学習方法（ハイパーパラメータ)の設定
|
|
68
68
|
|
|
69
69
|
alpha = 0.01#学習率
|
|
70
70
|
|
|
@@ -74,7 +74,7 @@
|
|
|
74
74
|
|
|
75
75
|
|
|
76
76
|
|
|
77
|
-
データフレーム作成用リストの作成
|
|
77
|
+
#データフレーム作成用リストの作成
|
|
78
78
|
|
|
79
79
|
list1 = [[] for _ in range(10)] #変数を"_"と置いた
|
|
80
80
|
|
|
@@ -84,13 +84,13 @@
|
|
|
84
84
|
|
|
85
85
|
|
|
86
86
|
|
|
87
|
-
行動価値関数テーブルの初期化
|
|
87
|
+
#行動価値関数テーブルの初期化
|
|
88
88
|
|
|
89
89
|
Q = np.zeros(S1.shape)
|
|
90
90
|
|
|
91
91
|
|
|
92
92
|
|
|
93
|
-
行動(活動実施メッシュ)に応じて報酬(効果値)を選択
|
|
93
|
+
#行動(活動実施メッシュ)に応じて報酬(効果値)を選択
|
|
94
94
|
|
|
95
95
|
def ziko(a):
|
|
96
96
|
|
|
@@ -132,7 +132,7 @@
|
|
|
132
132
|
|
|
133
133
|
|
|
134
134
|
|
|
135
|
-
Q学習のメイン関数
|
|
135
|
+
#Q学習のメイン関数
|
|
136
136
|
|
|
137
137
|
def q_learning():
|
|
138
138
|
|
|
@@ -166,7 +166,7 @@
|
|
|
166
166
|
|
|
167
167
|
|
|
168
168
|
|
|
169
|
-
データフレーム作成用リストにデータを追加
|
|
169
|
+
#データフレーム作成用リストにデータを追加
|
|
170
170
|
|
|
171
171
|
for j in range(9):
|
|
172
172
|
|
|
@@ -176,7 +176,7 @@
|
|
|
176
176
|
|
|
177
177
|
|
|
178
178
|
|
|
179
|
-
次期状態S1でのQ(行動価値関数)のリスト作成
|
|
179
|
+
#次期状態S1でのQ(行動価値関数)のリスト作成
|
|
180
180
|
|
|
181
181
|
def s1max():
|
|
182
182
|
|
|
@@ -190,7 +190,7 @@
|
|
|
190
190
|
|
|
191
191
|
|
|
192
192
|
|
|
193
|
-
メイン関数の実行
|
|
193
|
+
#メイン関数の実行
|
|
194
194
|
|
|
195
195
|
for k in range(n):
|
|
196
196
|
|
|
@@ -200,7 +200,7 @@
|
|
|
200
200
|
|
|
201
201
|
|
|
202
202
|
|
|
203
|
-
Q値データのリストをデータフレームに変換
|
|
203
|
+
#Q値データのリストをデータフレームに変換
|
|
204
204
|
|
|
205
205
|
df = pd.DataFrame(list1[1:]).T
|
|
206
206
|
|
2
コードを書き直しました。ご指摘ありがとうございます。
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -14,6 +14,10 @@
|
|
|
14
14
|
|
|
15
15
|
##プログラムのコード
|
|
16
16
|
|
|
17
|
+
```Python
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
|
|
17
21
|
import numpy as np
|
|
18
22
|
|
|
19
23
|
import pandas as pd
|
|
@@ -204,6 +208,8 @@
|
|
|
204
208
|
|
|
205
209
|
|
|
206
210
|
|
|
211
|
+
```
|
|
212
|
+
|
|
207
213
|
### 発生している問題・エラーメッセージ
|
|
208
214
|
|
|
209
215
|
|
1
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -232,7 +232,7 @@
|
|
|
232
232
|
|
|
233
233
|
|
|
234
234
|
|
|
235
|
-
プログラミングを習いたてでどう改善すればよいかわからないのでお願い致します
|
|
235
|
+
プログラミングを習いたてでどう改善すればよいかわからないのでお願い致します。
|
|
236
236
|
|
|
237
237
|
|
|
238
238
|
|