質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.80%

ChainerでF値を出したい

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 510

score 16

現在chainerを用いて分類予測を行うモデルを作成しているのですが、f値をPrintReportで表示することができません。
調べてみてもあまりそれらしいものが出てこないので質問させていただきました。

なお、accuracy, lossは正常に記録されています。

import matplotlib.pyplot as plt
import load_data
import load_vector
import numpy as np
import chainer
import chainer.links as L
import chainer.functions as F
from chainer import Chain, Variable, datasets, optimizers
from chainer import report, training
from chainer.training import extensions
from chainer import iterators
from chainer import serializers
import chainer.cuda

#データの準備(株)
topix = load_vector.load_vector("topix_100days") #入力データの選択
x_train, x_test = topix[:2000], topix[2000:]

label = load_data.label(load_data.teacher_dataset("topix.csv"),length=100) #教師データの選択
t_train, t_test = label[:2000], label[2000:]

train = list(zip(x_train, t_train))
test = list(zip(x_test, t_test))

# #データの準備(果物)
# fluits, labels = load_vector.load_fluits()
# x_train, x_test = fluits[:500]+fluits[600:1200], fluits[500:600]+fluits[1200:]
# t_train, t_test = labels[:500]+labels[600:1200], labels[500:600]+labels[1200:]
# train = list(zip(x_train, t_train))
# test = list(zip(x_test, t_test))

class CNN(Chain):
    def __init__(self):
        super(CNN, self).__init__()
        with self.init_scope():
            self.cn1 = L.Convolution2D(None, 32, ksize=(3,3), pad=(1,1))
            self.cn2 = L.Convolution2D(None, 32, ksize=(3,3), pad=(1,1))
            self.fc1 = L.Linear(None, 128)
            self.fc2 = L.Linear(128, 2)

    def __call__(self, x, t=None):
        h1 = F.max_pooling_2d(F.relu(self.cn1(x)), ksize=4, stride=4)
        h2 = F.max_pooling_2d(F.relu(self.cn2(h1)), ksize=4, stride=4)
        h3 = F.dropout(F.relu(self.fc1(h2)),ratio=0.5)
        return self.fc2(h3)


model = CNN()
net = L.Classifier(model)
optimizer = optimizers.MomentumSGD(lr=0.001).setup(net)

batchsize = 30
train_iter = chainer.iterators.SerialIterator(train, batchsize, repeat=True, shuffle=True)
test_iter = chainer.iterators.SerialIterator(test, batchsize, repeat=False, shuffle=True)

updater = training.StandardUpdater(train_iter, optimizer, device=-1) # device=-1でCPUでの計算実行を指定

epoch = 50
trainer = training.Trainer(updater, (epoch, 'epoch'), out='result')

# テストデータで評価
trainer.extend(extensions.Evaluator(test_iter, net, device = -1))

# 学習を記録
trainer.extend(extensions.LogReport(trigger=(1, 'epoch')))

# グラフに描画、保存
trainer.extend(extensions.PlotReport(['main/loss', 'validation/main/loss'], x_key='epoch', file_name='loss.png'))
trainer.extend(extensions.PlotReport(['main/f1_score', 'validation/main/f1_score'], x_key='epoch', file_name='f_score.png'))
trainer.extend(extensions.PlotReport(['main/accuracy', 'validation/main/accuracy'], x_key='epoch', file_name='accuracy.png'))
trainer.extend(extensions.PrintReport(['epoch', 'main/f1_score', 'main/accuracy','validation/main/f1_score', 'validation/main/accuracy','elapsed_time']), trigger=(1, 'epoch'))

trainer.run()

よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • Q71

    2020/01/23 19:01

    同じような事で止まっていて、続きができていません。
    Chainerのコードを調べたところ、レポートに登録しなければならないようでした。標準のClassifierを使われているようですが、そのコードを見てみてください。

    キャンセル

  • KazuyaKojima

    2020/01/24 13:36

    なるほど、一度見てみます

    キャンセル

  • KazuyaKojima

    2020/01/24 15:05

    Evaluatorの部分を追記することで解決いたしました。参考にどうぞ

    キャンセル

回答 2

check解決した方法

+1

調べてみるとaccuracyとlossのみが標準でEvaluatorで計算してくれるようでそれ以外の指標は自作しなければならないようです。

class Evaluator(extensions.Evaluator):
    default_name="mycm"
    def evaluate(self):
        iterator = self._iterators['main']
        model = self._targets['main']
        eval_func = self.eval_func or model

        if self.eval_hook:
            self.eval_hook(self)

        if hasattr(iterator, 'reset'):
            iterator.reset()
            it = iterator
        else:
            it = copy.copy(iterator)

        summary = reporter_module.DictSummary()

        f1_count = 0
        recall_count = 0
        prexision_count = 0
        lcount = 0
        for i, batch in enumerate(it):
            observation = {}
            with reporter_module.report_scope(observation):
                in_arrays = self.converter(batch, self.device)
                with function.no_backprop_mode():
                    if isinstance(in_arrays, tuple):
                        eval_func(*in_arrays)
                        re, pr = self.cm(in_arrays)
                    elif isinstance(in_arrays, dict):
                        eval_func(**in_arrays)
                        re, pr = self.cm(in_arrays)
                    else:
                        eval_func(in_arrays)
                        re, pr = self.cm(in_arrays)
                    f1 = 2 * re * pr / (re + pr)

                    f1_count = f1_count + f1
                    recall_count = recall_count + re
                    precision_count = precision_count + pr

            summary.add(observation)
            lcount = i

        cm_observation = {}

        cm_observation["recall"] = round(recall_count / (lcount + 1), 3)
        cm_observation["precision"] = round(precision_count / (lcount + 1), 3)
        cm_observation["f1_score"] = round(f1_count / (lcount + 1), 3)

        summary.add(cm_observation)

        return summary.compute_mean()

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/01/24 15:06

    Evaluaterの方でしたか。ありがとうございます。

    キャンセル

0

Classifierのコード

reporter.report({'loss': self.loss}, self)


145行目です。このように、レポーターに登録してやる必要があるみたいです。まだ試せていないので、試すことができたなら是非結果を教えて下さい。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.80%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る