kerasで正解率がゼロ

Question

KerasでNNによるモデルを構築しようとしています。

特徴量は243個のバイナリーデータで、二値分類問題です。

とりあえず適当に予測してみようと思い、以下を実行しました。

from sklearn.model_selection import train_test_split, KFold
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import SGD, Adadelta, Adam
from keras.callbacks import EarlyStopping


kf=KFold(n_splits=5, random_state=1)
loss_list=[]
acc_list=[]
for train_idx, val_idx in kf.split(x_sampled):
    x_train, x_val=x[train_idx], x[val_idx]
    y_train, y_val=y[train_idx], y[val_idx]

    model=Sequential()
    model.add(Dense(units=100, input_dim=len(x[0])))
    model.add(Activation('sigmoid'))
    model.add(Dense(units=50, input_dim=100))
    model.add(Activation('sigmoid'))
    model.add(Dense(units=10, input_dim=50))
    model.add(Activation('sigmoid'))
    model.add(Dense(units=1))

    model.compile(optimizer='Adam', loss='binary_crossentropy', metrics=['accuracy'])

    history=model.fit(x_train, y_train, epochs = 100, batch_size = 32, validation_data = (x_val, y_val), callbacks = [EarlyStopping()])

    score=model.evaluate(x_val, y_val, verbose = 0)
    loss_list.append(score[0])
    acc_list.append(score[1])
    
print('loss avg is {}'.format(np.mean(loss_list)))
print('acc avg is {}'.format(np.mean(acc_list)))

この結果なのですが、

Train on 368 samples, validate on 92 samples
Epoch 1/100
368/368 [==============================] - 1s 3ms/step - loss: 0.5381 - acc: 0.7799 - val_loss: 0.1971 - val_acc: 1.0000
Epoch 2/100
368/368 [==============================] - 0s 157us/step - loss: 0.5045 - acc: 0.7799 - val_loss: 0.2338 - val_acc: 1.0000
Train on 368 samples, validate on 92 samples
Epoch 1/100
368/368 [==============================] - 1s 3ms/step - loss: 0.6302 - acc: 0.5951 - val_loss: 0.5771 - val_acc: 0.7717
Epoch 2/100
368/368 [==============================] - 0s 141us/step - loss: 0.4722 - acc: 0.8370 - val_loss: 0.5404 - val_acc: 0.7717
Epoch 3/100
368/368 [==============================] - 0s 130us/step - loss: 0.4451 - acc: 0.8370 - val_loss: 0.5288 - val_acc: 0.7717
Epoch 4/100
368/368 [==============================] - 0s 136us/step - loss: 0.4172 - acc: 0.8370 - val_loss: 0.5713 - val_acc: 0.7717
Train on 368 samples, validate on 92 samples
Epoch 1/100
368/368 [==============================] - 1s 3ms/step - loss: 2.5404 - acc: 0.0054 - val_loss: 4.0295 - val_acc: 0.0000e+00
Epoch 2/100
368/368 [==============================] - 0s 138us/step - loss: 2.5404 - acc: 0.0054 - val_loss: 4.0295 - val_acc: 0.0000e+00
Train on 368 samples, validate on 92 samples
Epoch 1/100
368/368 [==============================] - 1s 3ms/step - loss: 2.8031 - acc: 0.8261 - val_loss: 2.9783 - val_acc: 0.8152
Epoch 2/100
368/368 [==============================] - 0s 148us/step - loss: 2.8031 - acc: 0.8261 - val_loss: 2.9783 - val_acc: 0.8152
Train on 368 samples, validate on 92 samples
Epoch 1/100
368/368 [==============================] - 1s 4ms/step - loss: 2.6717 - acc: 0.8342 - val_loss: 3.5039 - val_acc: 0.7826
Epoch 2/100
368/368 [==============================] - 0s 149us/step - loss: 2.6717 - acc: 0.8342 - val_loss: 3.5039 - val_acc: 0.7826
loss avg is 2.263390034566755
acc avg is 0.6739130434782609

となり、accがゼロ付近のまま終わってしまっているfoldがあります。
この理由として考えられることはどんなものがあるでしょうか？
NN初心者のため、ヒントだけでもいただければ幸いです。

Comments

[tiitoi]

一部ではなく、コピペすれば動くコード全体を貼ってください。

[nouken]

ありがとうございます。あとは、データさえあればうごくはずなのですが・・・

Answer 1

KFoldにshuffle=Trueを渡してみてください。
データが整列されていることが問題ではないでしょうか？

---

yが必要になるのはStratifiedKFoldでは。

Comments

[nouken]

現在手元にデータがないので、明日試してみます。ありがとうございます！

Answer 2

原因かどうかはわかりませんが、教師あり学習なら kf.split() に X だけでなく Y も渡すべきではないでしょうか？
一応以下のコードで質問のような現象は確認できませんでした。

import numpy as np
from sklearn.model_selection import KFold
from sklearn.datasets import make_classification
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.callbacks import EarlyStopping

# データを作成する。
X, Y = make_classification(n_samples=1000, n_features=20, n_classes=2)
print(X.shape, Y.shape)  # (1000, 20) (1000,)

kf = KFold(n_splits=5, random_state=1)

loss_list=[]
acc_list=[]

for train_idx, val_idx in kf.split(X, Y):
    X_train, X_val = X[train_idx], X[val_idx]
    Y_train, Y_val = Y[train_idx], Y[val_idx]

    model = Sequential()
    model.add(Dense(units=100, activation='sigmoid', input_dim=len(X[0])))
    model.add(Dense(units=50, activation='sigmoid'))
    model.add(Dense(units=10, activation='sigmoid'))
    model.add(Dense(units=1, activation='sigmoid'))
    model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
    model.fit(X_train, Y_train, epochs=100, batch_size=32, verbose=0,
              validation_data=(X_val, Y_val), callbacks=[EarlyStopping()])

    loss, acc = model.evaluate(X_val, Y_val, verbose=0)
    loss_list.append(loss)
    acc_list.append(acc)

print('loss_list', loss_list)
print('acc_list', acc_list)
print('loss avg is {}'.format(np.mean(loss_list)))
print('acc avg is {}'.format(np.mean(acc_list)))

loss_list [0.2805235469341278, 0.18625244736671448, 0.19603977024555205, 0.19513042390346527, 0.22721632838249206]
acc_list [0.895, 0.955, 0.95, 0.935, 0.935]
loss avg is 0.21703250336647031
acc avg is 0.9339999999999999

Comments

[nouken]

なるほど気づきませんでした。今は手元にデータがないので、明日とりあえずそれを試してみます。わざわざ試していただきありがとうございます。