機械学習 ミニバッチでの訓練におけるエラー

Question

前回の質問の続きです。

PyTorchを利用し、DQNでゲームのソルバーを作っております。

ミニバッチの値だけ対局データを取り出し、局面に分解し、torch.utils.data.Datalodaerを使ってモデルにデータを投げています。
損失関数はnn.CrossEntropyLoss()を使用しています。
入力データは、12×12のボードサイズの局面を7680個です。
ラベルは、局面に対応しているので、勝敗データ7680個です。
これを、バッチサイズ32で学習させようとしています。

モデルの定義は、今のところ適当です。

教師ラベルを1次元にしてみましたが、エラーが発生しました。
エラーを見ても、具体的な問題点が得られず、ネット上で調べてみても、似たような事例はあるようですが、解決方法を見てもわかりませんでした。

とりあえず一通り動けば良いと思っております。
ご教示をお願い致します。

ここの値を見たいなどありましたら、対応いたします。

> python .\train.py
epoch: 1
epoch:1 record:0
(7680, 12, 12)
(7680, 1, 12, 12)
torch.Size([32, 1, 12, 12])
torch.Size([32, 1])
torch.Size([32])
Traceback (most recent call last):
  File ".\train.py", line 102, in <module>
    loss = criterion(y, t)
  File "C:\Users\meron\Anaconda3\lib\site-packages\torch\nn\modules\module.py", line 477, in __call__
    result = self.forward(*input, **kwargs)
  File "C:\Users\meron\Anaconda3\lib\site-packages\torch\nn\modules\loss.py", line 862, in forward
    ignore_index=self.ignore_index, reduction=self.reduction)
  File "C:\Users\meron\Anaconda3\lib\site-packages\torch\nn\functional.py", line 1550, in cross_entropy
    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
  File "C:\Users\meron\Anaconda3\lib\site-packages\torch\nn\functional.py", line 1407, in nll_loss
    return torch._C._nn.nll_loss(input, target, weight, _Reduction.get_enum(reduction), ignore_index)
RuntimeError: Assertion `cur_target >= 0 && cur_target < n_classes' failed.  at c:\new-builder_2\win-wheel\pytorch\aten\src\thnn\generic/ClassNLLCriterion.c:93

train.py

# coding: utf-8

import os
import glob
import random
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
import torch.utils.data
import network
import train_data_creator
import game

GAMMA = 0.97    #割引率
BATCH_SIZE = 32 #一度に学習する局面数
EPOCH = 3 #1つの訓練データを何回学習させるか
TURN = 32

MODEL_PATH = os.path.join(os.path.dirname(__file__), "./output/model.pth")       #モデルの保存パス
OPTIMIZER_PATH = os.path.join(os.path.dirname(__file__), "./output/optimizer.pth")       #オプティマイザの保存パス
RECORD_LIST_PATH = os.path.join(os.path.dirname(__file__), "./recordlist_train")         #対局データ一覧表（学習用）の保存パス
TEST_RECORD_LIST_PATH = os.path.join(os.path.dirname(__file__), "./recordlist_test") #対局データ一覧表（テスト用）の保存パス

#モデルが保存されていれば読み込み、なければ新規作成
if os.path.exists(MODEL_PATH):
    fine_tune = True
    model = network.Network()
    model.load_state_dict(torch.load(MODEL_PATH))
else:
    fine_tune = False
    model = network.Network()

#オプティマイザが保存されていれば読み込み、なければ新規作成
if os.path.exists(MODEL_PATH):
    fine_tune = True
    optimizer = optim.Adam(model.parameters(), lr=0.1)
    optimizer.load_state_dict(torch.load(OPTIMIZER_PATH))
else:
    fine_tune = False
    optimizer = optim.Adam(model.parameters(), lr=0.1)

criterion = nn.CrossEntropyLoss()   #推論値と理論値の差を計算


for i in range(1, EPOCH+1):   #エポックを回す
    print("epoch:", i)          #現在のエポック数（何回目のループか）

    record_index = 0

    while True: #全学習データを扱う
        print("epoch:{0} record:{1}".format(i, record_index))

        #バッチサイズ分の訓練データ（陣形とタイルの点数）と正解ラベルを取得
        #datasetは、[value, state, player, won] それぞれの要素は、バッチサイズ分の対局の全局面でシャッフルなし
        dataset = train_data_creator.get_dataset(RECORD_LIST_PATH, BATCH_SIZE, record_index)
        if dataset is None: #学習データがなくなった
            break

        dataset[1] = dataset[1].reshape(len(dataset[1]), 1, game.MAX_BOARD_SIZE, game.MAX_BOARD_SIZE)
        dataset[3] = dataset[3].reshape(len(dataset[3]), 1, 1, 1)

        train = torch.utils.data.TensorDataset(torch.from_numpy(dataset[1]).float(), torch.from_numpy(dataset[3]).long())
        train_loader = torch.utils.data.DataLoader(train, batch_size=BATCH_SIZE, shuffle=True)

        total_loss = 0
        for i, data in enumerate(train_loader):
            x, t = data
            x, t = torch.autograd.Variable(x), torch.autograd.Variable(t)
            optimizer.zero_grad()
            y = model(x)

            # *** 追加 *** 1次元にする
            t = torch.squeeze(t)

            print(x.shape)
            print(y.shape)
            print(t.shape)

            loss = criterion(y, t)
            total_loss += loss.data[0]
            loss.backward()
            optimizer.step()

        record_index += BATCH_SIZE

環境

Python
PyTorch

Answer 1

エラーはモデルに流しているデータがおかしいことに起因するものだと思われるので、実際動かせるコードとデータがないと、具体的な原因箇所の回答を得るのは難しいと思いますよ。

`cur_target >= 0 && cur_target < n_classes'

はクラス数が N クラスだとしたら、ラベルの各値は 0, 1, ... , N - 1 のいずれかでないといけないという Assertion チェックに失敗していることを意味しています。

ベーシックなタスクでいうと以下のようになりますが、今回はどれになるのでしょうか。

• 盤面から勝ち負けを予測する: 2クラス分類問題
• 盤面から評価値を予測する: 回帰問題

回帰問題

• 出力層の出力数: 1
• 出力層の活性化関数: 線形
• 損失関数: 平均二乗誤差 (MSE)

2クラス分類問題

• 出力層の出力数: 1
• 出力層の活性化関数: シグモイド
• 損失関数: binary cross entropy

Nクラス分類問題 (N >= 2)

• 出力層の出力数: N
• 出力層の活性化関数: softmax
• 損失関数: cross entropy

1つ前の質問を見たところ、Network モデルの出力層の出力数は1で活性化関数は線形となっていたのに、クロスエントロピー関数を使っているのは変だと思います。

Comments

[programming]

エラーの内容ってそのようなことを言っていたんですね。心当たりがあります...

今回は回帰問題になりそうです。
損失関数をMSEにして、データ形式を整形したりしてやってみたところ、きちんと動きました！
また、誤差もきちんと減少しているようです。まだまだやらなければいけないことはたくさんあると思いますが...

損失関数についてはきちんと理解せずに適当なものを使っていました。MSEとcross entropyについて調べてみましたが、どうやら全然使う場所が違うみたいですね。Cross entropyについては、いまいちわかりませんでしたが...

様々な質問にご回答いただき、いつも本当にありがとうございます。