ループ処理における Could not interpret metric function identifier エラーの解決

Question

機械学習の勉強をしているものです．
python, keras(tensorflow)を使った多クラス分類のプログラムを作成しております．

概ねプログラムが完成し，各種精度を算出したいと考えた際，
https://qiita.com/shiita0903/items/838d50598cc28766f84e
こちらのサイトを見つけ，ソースコードを参考にしました．

これを使い単一のファイルについて各種精度を出せたので，次はディレクトリ内の各々のファイルについて先頭のものから順に読み込み，それぞれのファイルごとの精度を算出しようとしました．
しかし，先頭のファイルの精度を算出し，次のファイルの学習が開始される前に以下のメッセージが表示されプログラムがストップしてしまいます．

ValueError: ('Could not interpret metric function identifier:', 0.XXXX（数値）)

なぜ単一のファイルの精度算出ではできfor文ループさせようとするとエラーが出てしまうのか，分かる方がいればご教示頂ければ幸いです．

※ソースコードは一部は省略，修正して載せております．

該当のソースコード

# -*- coding: utf-8 -*-

import keras.backend as K
import os
import pandas as pd
from sklearn.model_selection import train_test_split
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.utils import np_utils
from sklearn import preprocessing


# precision, recall, f-measureを定義する
def normalize_y_pred(y_pred):
    return K.one_hot(K.argmax(y_pred), y_pred.shape[-1])


def class_true_positive(class_label, y_true, y_pred):
    y_pred = normalize_y_pred(y_pred)
    return K.cast(
        K.equal(y_true[:, class_label] + y_pred[:, class_label], 2),
        K.floatx())


def true_positive(y_true, y_pred):
    y_pred = normalize_y_pred(y_pred)
    return K.cast(K.equal(y_true + y_pred, 2), K.floatx())


def class_precision(class_label, y_true, y_pred):
    y_pred = normalize_y_pred(y_pred)
    return K.sum(class_true_positive(class_label, y_true, y_pred)) / (
        K.sum(y_pred[:, class_label]) + K.epsilon())


def micro_precision(y_true, y_pred):
    y_pred = normalize_y_pred(y_pred)
    return K.sum(true_positive(y_true, y_pred)) / (K.sum(y_pred) + K.epsilon())


def macro_precision(y_true, y_pred):
    class_count = y_pred.shape[-1]
    return K.sum([class_precision(i, y_true, y_pred) for i in range(class_count)]) \
           / K.cast(class_count, K.floatx())


def class_recall(class_label, y_true, y_pred):
    return K.sum(class_true_positive(class_label, y_true, y_pred)) / (
        K.sum(y_true[:, class_label]) + K.epsilon())


def micro_recall(y_true, y_pred):
    return K.sum(true_positive(y_true, y_pred)) / (K.sum(y_true) + K.epsilon())


def macro_recall(y_true, y_pred):
    class_count = y_pred.shape[-1]
    return K.sum([class_recall(i, y_true, y_pred) for i in range(class_count)]) \
           / K.cast(class_count, K.floatx())


def class_f_measure(class_label, y_true, y_pred):
    precision = class_precision(class_label, y_true, y_pred)
    recall = class_recall(class_label, y_true, y_pred)
    return (2 * precision * recall) / (precision + recall + K.epsilon())


def micro_f_measure(y_true, y_pred):
    precision = micro_precision(y_true, y_pred)
    recall = micro_recall(y_true, y_pred)
    return (2 * precision * recall) / (precision + recall + K.epsilon())


def macro_f_measure(y_true, y_pred):
    precision = macro_precision(y_true, y_pred)
    recall = macro_recall(y_true, y_pred)
    return (2 * precision * recall) / (precision + recall + K.epsilon())


def build_multilayer_perceptron():
    """多層パーセプトロンモデルを構築"""
    model = Sequential()
    model.add(Dense(16, input_shape=(12, )))
    model.add(Activation('relu'))
    model.add(Dense(2))
    model.add(Activation('softmax'))
    return model


if __name__ == "__main__":
    with open("result.csv", "w") as f:
        print("date,accuracy,precision,recall,f_measure", file=f)

    for i in range(1, 32):
        # ファイルが存在すれば読み込み，以下を実行する
        if (os.path.exists(
                os.path.join("data", "hoge", "20XX", "01",
                             "20XX010" + str(i) + ".txt"))
                or os.path.exists(
                    os.path.join("data", "hoge", "20XX", "01",
                                 "20XX01" + str(i) + ".txt"))):
            if i < 10:
                dataset = pd.read_csv(
                    os.path.join("data", "hoge", "20XX", "01",
                                 "20XX010" + str(i) + ".txt"),
                    delim_whitespace=True)
            else:
                dataset = pd.read_csv(
                    os.path.join("data", "hoge", "20XX", "01",
                                 "20XX01" + str(i) + ".txt"),
                    delim_whitespace=True)

            # 説明変数，ターゲット変数を定義
            X = dataset.iloc[:, [0, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]]
            Y = dataset.iloc[:, 17]

            # データの標準化
            X = preprocessing.scale(X)

            # ラベルをone-hot-encoding形式に変換
            # 0 => [1, 0, 0]
            # 1 => [0, 1, 0]
            # 2 => [0, 0, 1]
            Y = np_utils.to_categorical(Y)

            # 訓練データとテストデータに分割
            train_X, test_X, train_Y, test_Y = train_test_split(
                X, Y, train_size=0.8, test_size=0.2)

            # print(macro_precision)
            # print(macro_recall)
            # print(macro_f_measure)

            # モデル構築
            model = build_multilayer_perceptron()
            model.compile(
                optimizer='adam',
                loss='categorical_crossentropy',
                metrics=[
                    'accuracy', macro_precision, macro_recall, macro_f_measure
                ])

            # モデル訓練
            model.fit(train_X, train_Y, epochs=1, batch_size=100, verbose=1)

            # モデル評価
            loss, accuracy, macro_precision, macro_recall, macro_f_measure = model.evaluate(
                test_X, test_Y, verbose=0)

            # print(macro_precision)
            # print(macro_recall)
            # print(macro_f_measure)

            # 学習，評価結果を保存
            with open("result.csv", "a") as f:
                print(
                    "{0},{1},{2},{3},{4}".format(
                        str(i), accuracy, macro_precision, macro_recall,
                        macro_f_measure),
                    file=f)

エラー文が出て止まった際の箇所

metrics=[
    'accuracy', macro_precision, macro_recall,
    macro_f_measure
])

補足情報（FW/ツールのバージョンなど）

・Python 3.6.5
・Keras 2.2.4
・Tensorflow 1.11.0

Answer 1

エラーを見たところ

'Could not interpret metric function identifier:', 0.XXXX（数値）

とのことなので、'macro_precision', 'macro_recall' 'macro_f_measure' という関数名と同じ名前の変数名を定義してしまっていたりしないですか？

print(macro_precision)
print(macro_recall)
print(macro_f_measure)

として確認してみてください。

Comments

[mako_H]

# モデル構築の前の行と，# モデル訓練 の処理後にそれぞれprint文を配置しました．

前者では，
<function macro_precision at 0x11d4b0b70>
<function macro_recall at 0x11d4b0d08>
<function macro_f_measure at 0x11d4b0ea0>
とアドレスを返していたのに対し，後者では，
0.4999672006402435
0.4999934401280487
0.4999799484058381
とそれぞれ数値を返しております．

また，エラー内容も，
ValueError: ('Could not interpret metric function identifier:', 0.4999799484058381)
と後者の数値が表示されておりました．

[mako_H]

どのようにしたら，値が関数に代入されない？ようになるのでしょうか？
どなたでも構いません．分かる方がいれば，ご教示頂ければ幸いです．

[tiitoi]

モデル訓練の処理後と書いていますが、compile()の段階、つまりモデル訓練の前にエラーになったのですよね？
原因ですが、提示されてるのがコードの一部だけなのでわかりません。
関数名と同じ名前の変数を使っていないか確認してください

[mako_H]

＞モデル訓練の処理後と書いていますが、compile()の段階、つまりモデル訓練の前にエラーになったのですよね？
そうです．print文でデバッグしたところ，i=1のときのモデル訓練（評価）後それぞれの変数の値がアドレスから数値になり，i=2のときモデル訓練の前にエラーで止まってしまっております．
＞原因ですが、提示されてるのがコードの一部だけなのでわかりません。
＞関数名と同じ名前の変数を使っていないか確認してください
全文を載せました．また，同じ名前の変数は，＃モデル構築，＃モデル評価，＃学習，評価結果を保存，の箇所でしか使っておりません．

[tiitoi]

> loss, accuracy, macro_precision, macro_recall, macro_f_measure = model.evaluate(test_X, test_Y, verbose=0)

回答の通り、ここで「関数名と同じ名前の変数」を定義してしまっていますね。関数名と重複する名前を変数名に使わないようにしてください。
つまり、解決策としては、ここの evaluate() の返り値を代入している変数名を変えてください。

[mako_H]

そちらで定義しまっているのを失念しておりました．よく考えればそうですよね．恥ずかしい...
無事，解決いたしました．何度も解答してくださり，ありがとうございます！