Chainerの評価関数(precision, recall)について

Question

前提・実現したいこと

GooglecolabolatryでChainerを用いた機械学習のコードを書いています. Cheiner公式のチュートリアルを参考にコードを書きました. Cheinerを用いて評価関数を使いたいです. accuracyについては求められましたが、precision, recallについてはエラーが出てしまいました. Cheinerのソースコード(https://github.com/chainer/chainer/blob/v3.2.0/chainer/functions/evaluation/classification_summary.py#L70)も見るには見たのですがよく理解できませんでした. 素人の質問で申し訳ありませんがよろしくお願いいたします.

発生している問題・エラーメッセージ

Mounted at /content/drive
x: (9054, 16)
t: (9054,)
/usr/local/lib/python3.6/dist-packages/chainer/functions/evaluation/classification_summary.py:65: RuntimeWarning: invalid value encountered in true_divide
  precision = tp / relevant
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-24-c1e4fa7dbf8f> in <module>()
    124     loss_list.append(loss_train_batch.array)
    125     accuracy_list.append(accuracy_train_batch.array)
--> 126     precision_list.append(precision_train_batch.array)
    127     recall_list.append(recall_train_batch.array)
    128 

AttributeError: 'tuple' object has no attribute 'array'

該当のソースコード

import chainer #Chainerのインポート
from chainer import Variable
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split # データセットを分割するモジュールの読み込み
from google.colab import drive #google driveに保存したcsvファイル(入力データ)の読み込み
import chainer.links as L
import chainer.functions as F
from chainer import Sequential
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import confusion_matrix

#chainer.print_runtime_info() #Cheinerのバージョンや実行環境の確認


####データセットの準備####

#------------------------------------------------------------#
# データセットの読み込み
drive.mount('/content/drive', force_remount=True)
df = pd.read_csv('drive/My Drive/Colab Notebooks/sequence.csv')

x = np.array(df.iloc[:, :16])
t = np.array(df.iloc[:, 16])

print('x:', x.shape)
print('t:', t.shape)

#それぞれデータ型を変換
x = x.astype('float32')
t = t.astype('int32')

#print(type(x))
#print(type(t))

x_train_val, x_test, t_train_val, t_test = train_test_split(x, t, test_size=0.3) #random_state=0

x_train, x_val, t_train, t_val = train_test_split(x_train_val, t_train_val, test_size=0.3)

#----------------------------------------------------------------#

####ネットワークの決定####

#----------------------------------------------------------------#
# net としてインスタンス化
n_input = 16
n_hidden = 20
n_output = 2

net = Sequential(
    L.Linear(n_input, n_hidden), F.relu,
    L.Linear(n_hidden, n_hidden), F.relu,
    L.Linear(n_hidden, n_output)
)

#----------------------------------------------------------------#

####最適化手法を選択する####

#----------------------------------------------------------------#
optimizer = chainer.optimizers.SGD(lr=0.01)

optimizer.setup(net)

#----------------------------------------------------------------#

####ネットワークの訓練####

#----------------------------------------------------------------#
n_epoch =100
n_batchsize = 100
#----------------------------------------------------------------#

iteration = 0

#ログの保存用
results_train = {
    'loss': [], #誤差
    'accuracy': [], #正答率
    'precision': [], #適合率
    'recall': [] #再現率(感度)
}
results_valid = {
    'loss': [],
    'accuracy': [],
    'precision': [],
    'recall': []
}

for epoch in range(n_epoch):

  #データセットを並べ替えた順番を取得
  order = np.random.permutation(range(len(x_train)))

  #各バッチ毎の目的関数の出力と分類制度の保存用
  loss_list = []
  accuracy_list = []
  precision_list = []
  recall_list = []

  for i in range(0, len(order), n_batchsize):
    #バッチを準備
    index = order[i:i+n_batchsize]
    x_train_batch = x_train[index, :16]
    t_train_batch = t_train[index]

    #予測値を出力
    y_train_batch = net(x_train_batch)

    #目的関数を適用し、分類制度を計算
    loss_train_batch = F.softmax_cross_entropy(y_train_batch, t_train_batch)
    accuracy_train_batch = F.accuracy(y_train_batch, t_train_batch)
    precision_train_batch = F.precision(y_train_batch, t_train_batch)
    recall_train_batch = F.recall(y_train_batch, t_train_batch)

    loss_list.append(loss_train_batch.array)
    accuracy_list.append(accuracy_train_batch.array)
    precision_list.append(precision_train_batch.array) #エラー箇所
    recall_list.append(recall_train_batch.array)

    #勾配のリセットと勾配の計算
    net.cleargrads()
    loss_train_batch.backward()

    #パラメータの更新
    optimizer.update()

    #カウントアップ
    iteration += 1

  #訓練データに対する目的関数の出力と分類制度を集計
  loss_train = np.mean(loss_list)
  accuracy_train = np.mean(accuracy_list)
  precision_train = np.mean(precision_list)
  recall_train = np.mean(recall_list)

  #1エポック終えたら、検証データで評価
  #検証データで予測値を出力
  with chainer.using_config('train', False), chainer.using_config('enable_backprop', False):
    y_val = net(x_val)

  # 目的関数を適用し、分類精度を計算
  loss_val = F.softmax_cross_entropy(y_val, t_val)
  accuracy_val = F.accuracy(y_val, t_val)
  precision_val = F.precision(y_val, t_val)
  recall_val = F.recall(y_val, t_val)

  # 結果の表示
  print('epoch: {}, iteration: {}, loss (train): {:.4f}, loss (valid): {:.4f}'.format(
        epoch, iteration, loss_train, loss_val.array))

  # ログを保存
  results_train['loss'].append(loss_train)
  results_train['accuracy'].append(accuracy_train)
  results_train['precision'].append(precision_train)
  results_train['recall'].append(recall_train)

  results_valid['loss'].append(loss_val.array)
  results_valid['accuracy'].append(accuracy_val.array)
  results_valid['precision'].append(precision_val.array)
  results_valid['recall'].append(recall_val.array)

%matplotlib inline
import matplotlib.pyplot as plt

# 目的関数の出力 (loss)
plt.plot(results_train['loss'], label='train')  # label で凡例の設定
plt.plot(results_valid['loss'], label='valid')  # label で凡例の設定
plt.legend()  # 凡例の表示
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

# 分類精度 (accuracy)
plt.plot(results_train['accuracy'], label='train')  # label で凡例の設定
plt.plot(results_valid['accuracy'], label='valid')  # label で凡例の設定
plt.legend()  # 凡例の表示
plt.xlabel('epoch')
plt.ylabel('accuracy')
plt.show()

#適合率(precision)
plt.plot(results_train['precision'], label='train')  # label で凡例の設定
plt.plot(results_valid['precision'], label='valid')  # label で凡例の設定
plt.legend()  # 凡例の表示
plt.xlabel('epoch')
plt.ylabel('precision')
plt.show()

#再現率(recall)
plt.plot(results_train['recall'], label='train')  # label で凡例の設定
plt.plot(results_valid['recall'], label='valid')  # label で凡例の設定
plt.legend()  # 凡例の表示
plt.xlabel('epoch')
plt.ylabel('recall')
plt.show()

chainer.serializers.save_npz('my_sequence.net', net)
!ls

試したこと

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

エラーメッセージによるとprecision_train_batchはタプルのようです。リストにタプルのまま追加するか、タプルから要素を取り出して追加する必要がありそうです。

[tkrd]

コメントありがとうございます. エラー箇所についてはタプルをリストに変換することで回避できました. しかし、その後変換したリストをVariable型に再度変換したところ別のエラーが発生してしまい、変換した配列を出力してみたところ意図しない出力結果になってしまいました. お手数ですがご教授いただけると幸いです.

###プログラムの変更箇所###
#目的関数を適用し、分類制度を計算
loss_train_batch = F.softmax_cross_entropy(y_train_batch, t_train_batch)
accuracy_train_batch = F.accuracy(y_train_batch, t_train_batch)
precision_train_batch = F.precision(y_train_batch, t_train_batch)
recall_train_batch = F.recall(y_train_batch, t_train_batch)

precision_train_batch_list = list(precision_train_batch) #listに変換
precision_np_train_batch = np.array(precision_train_batch_list) #numpy.arrayに変換
precision_variable_train_batch = Variable(precision_np_train_batch) #Variable型に変換

recall_train_batch_list = list(recall_train_batch)
recall_np_train_batch = np.array(recall_train_batch_list)
recall_variable_train_batch = Variable(recall_np_train_batch)

print("accuracy_train_batch=")
print(accuracy_train_batch)
print("precision_variable_train_batch=")
print(precision_variable_train_batch)

###配列の中身の出力
accuracy_train_batch=
variable(0.5)
precision_variable_train_batch=
variable([[variable(nan) variable(0.5)]
[variable(50) variable(50)]])
accuracy_train_batch=
variable(0.55)
precision_variable_train_batch=
variable([[variable(0.55) variable(nan)]
[variable(55) variable(45)]])

###エラー文
InvalidType:
Invalid operation is performed in: _ + _ (Forward)

Expect: lhs.dtype == rhs.dtype
Actual: float64 != int64

[meg_]

エラー発生箇所は「recall_variable_train_batch = Variable(recall_np_train_batch)」ですか？
recall_np_train_batchの中身はどういうものですか？

[tkrd]

抜けがありすみません。
エラー箇所は
precision_train = np.mean(precision_list)です

recall_np_train_batchの中身はrecall_train_batch_listをnumpy.arrayに変換したものになります。

[meg_]

エラーメッセージは全文提示いただかないと内容がよく分かりません。

[tkrd]

大変申し訳ありませんでした。以下に記載させていただきます。
--------------------------------------------------------------------------
InvalidType Traceback (most recent call last)
<ipython-input-17-9c101ae27dbb> in <module>()
152 loss_train = np.mean(loss_list)
153 accuracy_train = np.mean(accuracy_list)
--> 154 precision_train = np.mean(precision_list)
155 recall_train = np.mean(recall_list)
156

<__array_function__ internals> in mean(*args, **kwargs)

/usr/local/lib/python3.6/dist-packages/chainer/utils/type_check.py in expect(self)
495 raise InvalidType(
496 '{0} {1} {2}'.format(self.lhs, self.exp, self.rhs),
--> 497 '{0} {1} {2}'.format(left, self.inv, right))
498
499

InvalidType:
Invalid operation is performed in: _ + _ (Forward)

Expect: lhs.dtype == rhs.dtype
Actual: float64 != int64

[meg_]

precision_listはVariableのリストですか？ Variableにnp.meanは使えないかと思います。

[tkrd]

ご指摘の通りでした。解決いたしました。ありがとうございました。

Answer 1

list()、np.array()、Variable()を使うことで解決しました