ChainerでF値を出したい

Question

現在chainerを用いて分類予測を行うモデルを作成しているのですが、f値をPrintReportで表示することができません。
調べてみてもあまりそれらしいものが出てこないので質問させていただきました。

なお、accuracy, lossは正常に記録されています。

import matplotlib.pyplot as plt
import load_data
import load_vector
import numpy as np
import chainer
import chainer.links as L
import chainer.functions as F
from chainer import Chain, Variable, datasets, optimizers
from chainer import report, training
from chainer.training import extensions
from chainer import iterators
from chainer import serializers
import chainer.cuda

#データの準備(株)
topix = load_vector.load_vector("topix_100days") #入力データの選択
x_train, x_test = topix[:2000], topix[2000:]

label = load_data.label(load_data.teacher_dataset("topix.csv"),length=100) #教師データの選択
t_train, t_test = label[:2000], label[2000:]

train = list(zip(x_train, t_train))
test = list(zip(x_test, t_test))

# #データの準備(果物)
# fluits, labels = load_vector.load_fluits()
# x_train, x_test = fluits[:500]+fluits[600:1200], fluits[500:600]+fluits[1200:]
# t_train, t_test = labels[:500]+labels[600:1200], labels[500:600]+labels[1200:]
# train = list(zip(x_train, t_train))
# test = list(zip(x_test, t_test))

class CNN(Chain):
    def __init__(self):
        super(CNN, self).__init__()
        with self.init_scope():
            self.cn1 = L.Convolution2D(None, 32, ksize=(3,3), pad=(1,1))
            self.cn2 = L.Convolution2D(None, 32, ksize=(3,3), pad=(1,1))
            self.fc1 = L.Linear(None, 128)
            self.fc2 = L.Linear(128, 2)

    def __call__(self, x, t=None):
        h1 = F.max_pooling_2d(F.relu(self.cn1(x)), ksize=4, stride=4)
        h2 = F.max_pooling_2d(F.relu(self.cn2(h1)), ksize=4, stride=4)
        h3 = F.dropout(F.relu(self.fc1(h2)),ratio=0.5)
        return self.fc2(h3)


model = CNN()
net = L.Classifier(model)
optimizer = optimizers.MomentumSGD(lr=0.001).setup(net)

batchsize = 30
train_iter = chainer.iterators.SerialIterator(train, batchsize, repeat=True, shuffle=True)
test_iter = chainer.iterators.SerialIterator(test, batchsize, repeat=False, shuffle=True)

updater = training.StandardUpdater(train_iter, optimizer, device=-1) # device=-1でCPUでの計算実行を指定

epoch = 50
trainer = training.Trainer(updater, (epoch, 'epoch'), out='result')

# テストデータで評価
trainer.extend(extensions.Evaluator(test_iter, net, device = -1))

# 学習を記録
trainer.extend(extensions.LogReport(trigger=(1, 'epoch')))

# グラフに描画、保存
trainer.extend(extensions.PlotReport(['main/loss', 'validation/main/loss'], x_key='epoch', file_name='loss.png'))
trainer.extend(extensions.PlotReport(['main/f1_score', 'validation/main/f1_score'], x_key='epoch', file_name='f_score.png'))
trainer.extend(extensions.PlotReport(['main/accuracy', 'validation/main/accuracy'], x_key='epoch', file_name='accuracy.png'))
trainer.extend(extensions.PrintReport(['epoch', 'main/f1_score', 'main/accuracy','validation/main/f1_score', 'validation/main/accuracy','elapsed_time']), trigger=(1, 'epoch'))

trainer.run()

よろしくお願いいたします。

Comments

[Q71]

同じような事で止まっていて、続きができていません。
Chainerのコードを調べたところ、レポートに登録しなければならないようでした。標準のClassifierを使われているようですが、そのコードを見てみてください。

[KazuyaKojima]

なるほど、一度見てみます

[KazuyaKojima]

Evaluatorの部分を追記することで解決いたしました。参考にどうぞ

Answer 1

調べてみるとaccuracyとlossのみが標準でEvaluatorで計算してくれるようでそれ以外の指標は自作しなければならないようです。

class Evaluator(extensions.Evaluator):
    default_name="mycm"
    def evaluate(self):
        iterator = self._iterators['main']
        model = self._targets['main']
        eval_func = self.eval_func or model

        if self.eval_hook:
            self.eval_hook(self)

        if hasattr(iterator, 'reset'):
            iterator.reset()
            it = iterator
        else:
            it = copy.copy(iterator)

        summary = reporter_module.DictSummary()

        f1_count = 0
        recall_count = 0
        prexision_count = 0
        lcount = 0
        for i, batch in enumerate(it):
            observation = {}
            with reporter_module.report_scope(observation):
                in_arrays = self.converter(batch, self.device)
                with function.no_backprop_mode():
                    if isinstance(in_arrays, tuple):
                        eval_func(*in_arrays)
                        re, pr = self.cm(in_arrays)
                    elif isinstance(in_arrays, dict):
                        eval_func(**in_arrays)
                        re, pr = self.cm(in_arrays)
                    else:
                        eval_func(in_arrays)
                        re, pr = self.cm(in_arrays)
                    f1 = 2 * re * pr / (re + pr)

                    f1_count = f1_count + f1
                    recall_count = recall_count + re
                    precision_count = precision_count + pr

            summary.add(observation)
            lcount = i

        cm_observation = {}

        cm_observation["recall"] = round(recall_count / (lcount + 1), 3)
        cm_observation["precision"] = round(precision_count / (lcount + 1), 3)
        cm_observation["f1_score"] = round(f1_count / (lcount + 1), 3)
  
        summary.add(cm_observation)

        return summary.compute_mean()

Comments

[Q71]

Evaluaterの方でしたか。ありがとうございます。

Answer 2

Classifierのコード

reporter.report({'loss': self.loss}, self)

145行目です。このように、レポーターに登録してやる必要があるみたいです。まだ試せていないので、試すことができたなら是非結果を教えて下さい。