NeuralNetworkでデータ分析をするために型をそろえたい。

Question

前提・実現したいこと

データ分析においてkeras・tensorflowでNNによる学習を行おうとしたところ以下のようなエラーが生じました。

発生している問題・エラーメッセージ

Epoch 1/10
179/179 [==============================] - 1s 3ms/step - loss: nan - accuracy: 0.8029 - val_loss: nan - val_accuracy: 0.7466
Epoch 2/10
179/179 [==============================] - 0s 3ms/step - loss: nan - accuracy: 0.7430 - val_loss: nan - val_accuracy: 0.7466
0.7430 - val_loss: nan - val_accuracy: 0.7466
Epoch 9/10
179/179 [==============================] - 0s 3ms/step - loss: nan - accuracy: 0.7430 - val_loss: nan - val_accuracy: 0.7466
Epoch 10/10
179/179 [==============================] - 0s 3ms/step - loss: nan - accuracy: 0.7430 - val_loss: nan - val_accuracy: 0.7466
Traceback (most recent call last):

  File "D:\data_set\SignateBeginnerCompetition20210216\BinaryClassification.py", line 386, in <module>
    score = log_loss(va_y, va_pred, eps=1e-7)

  File "C:\Users***\anaconda3\envs\DataAnalysis\lib\site-packages\sklearn\utils\validation.py", line 72, in inner_f
    return f(**kwargs)

  File "C:\Users***\anaconda3\envs\DataAnalysis\lib\site-packages\sklearn\metrics\_classification.py", line 2186, in log_loss
    y_pred = check_array(y_pred, ensure_2d=False)

  File "C:\Users***\anaconda3\envs\DataAnalysis\lib\site-packages\sklearn\utils\validation.py", line 72, in inner_f
    return f(**kwargs)

  File "C:\Users***\anaconda3\envs\DataAnalysis\lib\site-packages\sklearn\utils\validation.py", line 644, in check_array
    _assert_all_finite(array,

  File "C:\Users***\anaconda3\envs\DataAnalysis\lib\site-packages\sklearn\utils\validation.py", line 96, in _assert_all_finite

    raise ValueError(

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

該当のソースコード

L250から学習
それ以前は前処理


"""
import pandas as pd
import numpy as np


#学習データファイルのパス
TrainFilePass = r'D:fullpass\train.csv'
#テストデータファイルのパス
TestFilePass = r'D:fullpass\test.csv'


#目的変数のカラム
Target = 'Y' 
# 変換するカテゴリ変数をリストに格納
#※LavelEncoder用の機能として…
CategoryColums = ['sex', 'workclass', 'education', 'marital-status', 'occupation', 'relationship', 'race', 'native-country']

train = pd.read_csv(TrainFilePass)
train_x = train.drop([Target], axis=1)
train_y = train[Target]
test_x = pd.read_csv(TestFilePass)

#欠損値を埋める
train_x = train_x.fillna('FILL')
train_y = train_y.fillna('FILL')
test_x = test_x.fillna('FILL')

# 説明用に学習データとテストデータの元の状態を保存しておく
train_x_saved = train_x.copy()
test_x_saved = test_x.copy()

# 学習データとテストデータを返す関数
def load_data():
    train_x, test_x = train_x_saved.copy(), test_x_saved.copy()
    return train_x, test_x


# -----------------------------------
# label encoding
# -----------------------------------
# データの読み込み
train_x, test_x = load_data()
# -----------------------------------
from sklearn.preprocessing import LabelEncoder

# カテゴリ変数をループしてlabel encoding
for c in CategoryColums:
    # 学習データに基づいて定義する
    le = LabelEncoder()
    le.fit(train_x[c])
    train_x[c] = le.transform(train_x[c])
    test_x[c] = le.transform(test_x[c])

    # 学習データを分割
    kf = KFold(n_splits=4, shuffle=True, random_state=72)
    for idx_1, idx_2 in kf.split(train_x):
        # out-of-foldで各カテゴリにおける目的変数の平均を計算
        target_mean = data_tmp.iloc[idx_1].groupby(c)['target'].mean()
        # 変換後の値を一時配列に格納
        tmp[idx_2] = train_x[c].iloc[idx_2].map(target_mean)

    # 変換後のデータで元の変数を置換
    train_x[c] = tmp


""""
# -----------------------------------
# target encoding - クロスバリデーションのfoldごとの場合
# -----------------------------------
# データの読み込み
train_x, test_x = load_data()
# -----------------------------------
from sklearn.model_selection import KFold

# クロスバリデーションのfoldごとにtarget encodingをやり直す
kf = KFold(n_splits=4, shuffle=True, random_state=71)
for i, (tr_idx, va_idx) in enumerate(kf.split(train_x)):

    # 学習データからバリデーションデータを分ける
    tr_x, va_x = train_x.iloc[tr_idx].copy(), train_x.iloc[va_idx].copy()
    tr_y, va_y = train_y.iloc[tr_idx], train_y.iloc[va_idx]

    # 変数をループしてtarget encoding
    for c in CategoryColums:
        # 学習データ全体で各カテゴリにおけるtargetの平均を計算
        data_tmp = pd.DataFrame({c: tr_x[c], 'target': tr_y})
        target_mean = data_tmp.groupby(c)['target'].mean()
        # バリデーションデータのカテゴリを置換
        va_x.loc[:, c] = va_x[c].map(target_mean)

        # 学習データの変換後の値を格納する配列を準備
        tmp = np.repeat(np.nan, tr_x.shape[0])
        kf_encoding = KFold(n_splits=4, shuffle=True, random_state=72)
        for idx_1, idx_2 in kf_encoding.split(tr_x):
            # out-of-foldで各カテゴリにおける目的変数の平均を計算
            target_mean = data_tmp.iloc[idx_1].groupby(c)['target'].mean()
            # 変換後の値を一時配列に格納
            tmp[idx_2] = tr_x[c].iloc[idx_2].map(target_mean)

        tr_x.loc[:, c] = tmp

    # 必要に応じてencodeされた特徴量を保存し、あとで読み込めるようにしておく
"""    
    
"""
# -----------------------------------
# target encoding - クロスバリデーションのfoldとtarget encodingのfoldの分割を合わせる場合
# -----------------------------------
# データの読み込み
train_x, test_x = load_data()
# -----------------------------------
from sklearn.model_selection import KFold

# クロスバリデーションのfoldを定義
kf = KFold(n_splits=4, shuffle=True, random_state=71)

# 変数をループしてtarget encoding
for c in CategoryColums:


    # targetを付加
    data_tmp = pd.DataFrame({c: train_x[c], 'target': train_y})
    # 変換後の値を格納する配列を準備
    tmp = np.repeat(np.nan, train_x.shape[0])

    # 学習データからバリデーションデータを分ける
    for i, (tr_idx, va_idx) in enumerate(kf.split(train_x)):
        # 学習データについて、各カテゴリにおける目的変数の平均を計算
        target_mean = data_tmp.iloc[tr_idx].groupby(c)['target'].mean()
        # バリデーションデータについて、変換後の値を一時配列に格納
        tmp[va_idx] = train_x[c].iloc[va_idx].map(target_mean)

    # 変換後のデータで元の変数を置換
    train_x[c] = tmp
# -----------------------------------
# ニューラルネットの実装
# -----------------------------------
from keras.layers import Dense, Dropout
from keras.models import Sequential
from sklearn.metrics import log_loss
from sklearn.preprocessing import StandardScaler

# データのスケーリング
scaler = StandardScaler()
tr_x = scaler.fit_transform(tr_x)
va_x = scaler.transform(va_x)
test_x = scaler.transform(test_x)

# ニューラルネットモデルの構築
model = Sequential()
model.add(Dense(256, activation='relu', input_shape=(train_x.shape[1],)))
model.add(Dropout(0.2))
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(1, activation='sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer='adam', metrics=['accuracy'])

# 学習の実行
# バリデーションデータもモデルに渡し、学習の進行とともにスコアがどう変わるかモニタリングする
batch_size = 50
epochs = 10
history = model.fit(tr_x, tr_y,
                    batch_size=batch_size, epochs=epochs,
                    verbose=1, validation_data=(va_x, va_y))

# バリデーションデータでのスコアの確認
va_pred = model.predict(va_x)
score = log_loss(va_y, va_pred, eps=1e-7)
print(f'logloss: {score:.4f}')

# 予測
#pred = model.predict(np.array(test_x))

試したこと

・カテゴリー変数を数値化するためにlabelencoderを実装
・keras/tansorfrowのヴァージョン確認・再インストール(conda)
・アナコンダの再インストール、環境再構築

補足情報（FW/ツールのバージョンなど）

anaconda

Comments

[meg_]

va_predに NaNかinfinityが含まれていませんか？

[kedamame]

train_xからなので、同様にencodeされているかと思われます

[meg_]

va_predはva_xから推定したものですよね？train_xとは別物では？？

[kedamame]

# クロスバリデーションのfoldごとにtarget encodingをやり直す
kf = KFold(n_splits=4, shuffle=True, random_state=71)
for i, (tr_idx, va_idx) in enumerate(kf.split(train_x)):

# 学習データからバリデーションデータを分ける
tr_x, va_x = train_x.iloc[tr_idx].copy(), train_x.iloc[va_idx].copy()
tr_y, va_y = train_y.iloc[tr_idx], train_y.iloc[va_idx]

ここで定義しているかと思います。

[meg_]

>> va_predに NaNかinfinityが含まれていませんか？
に対する答えが
> ここで定義しているかと思います。
でしょうか？

ちょっと分からないのですが、質問に対する答えはyesでしょうか？noでしょうか？ 含まれていないことは確認済みですか？

[kedamame]

ノーでした
申し訳ありません。

Answer 1

おそらく、[Python][Tensorflow] lossがNaNになったときの解決策と同じトラブルなので、

tf.logの中に1e-12くらいの小さい値を加えれば解決できます。

をやってみてはいかがでしょう。