複数のバイナリ変数を目的変数とするDNNの実装方法

Question

複数の目的変数を同時に考えるDNNをKerasを用いて実装したいのですが、以下のように行うと途中でjupyterのカーネルが落ちてしまいます。
解決方法をご存知の方いましたら、方法を教えていただけないでしょうか。
入力データは数値データです。

import numpy as np
from keras.layers import Dense,Activation
from keras.models import Sequential

model = Sequential()
model.add(Dense(16, input_shape=(1,)))
model.add(Activation('relu'))
model.add(Dense(16, input_shape=(1,)))
model.add(Activation('sigmoid')) # 全ての目的変数が0/1のためsigmoidを使う
model.add(Dense(10)) # 目的変数が10列ある
model.compile(loss='binary_crossentropy', optimizer='Adam') # ここで落ちる

よろしくお願いいたします。

Comments

[quickquip]

このコード自体には問題はありません。OSはなにか，バックエンドはなにか、Python/Keras/バックエンドのバージョン、CPUかGPUかの情報を追記しましょう。GPUの場合、意図的にCPUを使う様に(GPUを使わない様に)設定して起動してみて、それで動くかは確認しましたか。

[退会済みユーザー]

返信おそくなり申し訳ありません、

OSのバージョン: macOS 10.12.6
Pythonのバージョン: 3.6.7
kerasのバージョン 2.2.4
tensorflow(CPU版)をバックエンドで使用(バージョン 1.12.0)
になります。

[退会済みユーザー]

jupyter落ちたときにターミナルにメッセージ出ていたので、こちらに記載します。

2019-01-18 11:55:05.044935: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 8. Tune using inter_op_parallelism_threads for best performance.
OMP: Error #15: Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.
OMP: Hint: This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://www.intel.com/software/products/support/.

Answer 1

回帰問題の場合、loss には binary_crossentropy ではなく mean_squared_error を指定するべきではないでしょうか

追記

XOR を学習するサンプル

# -*- coding: utf-8 -*-
import numpy as np
from keras.layers.core import Dense
from keras.models import Sequential

X_train = np.array([[0, 0], [1, 0], [0, 1], [1, 1]], dtype=float)
Y_train = np.array([0, 1, 1, 0], dtype=float)

# モデルを作成する。
model = Sequential()
model.add(Dense(2, activation='sigmoid', input_shape=(2,)))
model.add(Dense(1, activation='linear'))
model.compile(loss='mean_squared_error',
              optimizer='rmsprop', metrics=['accuracy'])

# 学習する。
history = model.fit(X_train, Y_train, batch_size=4, epochs=3000, verbose=0)

# 推論する。
Y_pred = model.predict(X_train)
result = np.round(Y_pred)
print(result)
# [[0.]
#  [1.]
#  [1.]
#  [0.]]

Comments

[退会済みユーザー]

ご回答ありがとうございます。
入力変数は連続変数ですが、目的変数は0/1なので、mean_sqared_errorではないと思うのですが。

[tiitoi]

loss 引数は損失関数を定義するものであり、binary_crossentropy は、名前にバイナリと入っていますが、出力が 0, 1 になるものではありませんよ。
https://en.wikipedia.org/wiki/Binary_entropy_function

次に出力を 0 or 1 にするには、ある層の活性化関数を sigmoid 関数 (値域は [0, 1]) にして、
0 if x > 0.5
1 else
とすると、出力を0, 1 にはできます。

しかし、この関数は微分可能でないため、学習できません。
なので、結論をいうと、出力を 0, 1 の2値にするのは無理です。

[tiitoi]

今回のケースでいうと、損失関数は mean_sqared_error、出力層の活性化関数は sigmoid にして学習して、推論で出てきた値を解釈する際に round() で丸めて 0, 1 にすればいいだけのきがしますがどうでしょうか？

[tiitoi]

ちなみに質問欄のコード自体は Notebook 上で問題なく、実行できます。「ここで落ちる」と書かれている部分で特に落ちるような現象は確認できないので、これはまた別の問題ではないでしょうか。

コードの中身について言うと、入力層以外の中間層に , input_shape=(1,) が指定されているのは変です。

[quickquip]

マルチラベル問題なら、活性化関数をsimoidにして損失関数をbinary_crossentropyにするのは普通だと思いますよ。 https://github.com/keras-team/keras/issues/2166 https://keras.io/getting-started/functional-api-guide/#multi-input-and-multi-output-models