質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.33%

ニューラルネットの学習で,各エポック数のtrain・testのデータに加えて,検証用データの検証結果を加えたい

受付中

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 642

blackmk

score 23

現在,以下のように機械学習を行っております.

#データセット作成
import keras
import numpy as np
import sklearn.model_selection
import sklearn.datasets

#学習用,テスト用,評価用

X_train = np.loadtxt('D:/dataset_2_X.csv' , delimiter = ",")
Y_train = np.loadtxt('D:/dataset_2_Y.csv' , delimiter = ",")

X_test = np.loadtxt('D:/dataset_1_X.csv' , delimiter = ",")
Y_test = np.loadtxt('D:/dataset_1_Y.csv' , delimiter = ",")

#こちらで読み込んだデータを未知データとして検証したいです
#X_val = np.loadtxt('D:/dataset_3_X.csv' , delimiter = ",")
#Y_val = np.loadtxt('D:/dataset_3_Y.csv' , delimiter = ",")

#正規化
def normalizer(A):
    M = np.reshape(A , (len(A) , -1))
    M = M.astype('float32')
    max = M.max(axis = 0)
    min = M.min(axis = 0)
    return (M - min) / (max - min)

X_train = normalizer(X_train)
X_test = normalizer(X_test)

Y_train_logit = keras.utils.to_categorical(Y_train)
Y_test_logit = keras.utils.to_categorical(Y_test)
#モデルの構築
import keras
import tensorflow as tf
from keras.models import Sequential
from keras.layers import Dense , Activation

#モデル
m = tf.keras.models.Sequential([
    tf.keras.layers.Dense(units= 20, input_dim=len(X_train[0]), activation=tf.nn.relu),
    tf.keras.layers.Dense(units=max(set(Y_train)) - min(set(Y_train)) + 1, activation=tf.nn.softmax)

])


m.compile(loss='sparse_categorical_crossentropy',
              optimizer='sgd',
              metrics=['accuracy'])



print(m.summary())
#学習と結果表示
#この学習において,X_val,Y_valの値も検証したいです
history = m.fit(X_train , Y_train ,epochs = 1000 , validation_data = (X_test ,Y_test))

import matplotlib.pyplot as plt 
import matplotlib 
acc = history.history["acc"]
val_acc = history.history["val_acc"]
loss = history.history["loss"]
val_loss = history.history["val_loss"]

epochs = range(1, len(acc) + 1)

#plot accuracy
plt.plot(epochs, acc, "b" , markersize = 1, label = "Training acc" )
plt.plot(epochs, val_acc, "r",  markersize = 1, label = "Validation acc")
plt.title("Accuracy_dataset1_2")
plt.ylim([0,1])
plt.legend()
plt.savefig("D:/acc_dataset_2_3.png")
plt.close()  

#plot loss
plt.plot(epochs, loss, "b", markersize = 1,  label = "Training loss" )
plt.plot(epochs, val_loss, "r",  markersize = 1, label = "Validation loss")
plt.title("loss_dataset1")
plt.ylim([0,1])
plt.legend()
plt.savefig("D:/loss_dataset2_3.png")
plt.close()

このとき,最初で定義しているX_val,Y_valを検証用データとして,各エポックごとにその正答率と損失値を求め,最後のグラフ表示にtrain,test,valの3本のグラフとして表示したいです.
fitの中で何か設定するのかと思い,kerasのfitの使い方のところを見ましたが,train,test以外にデータを設定できないようなので,困っております.どのようにすればよいのでしょうか?よろしくお願いします.

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

0

「学習曲線」と言います。

例えばこんな実装かと

学習曲線から過学習を検知 (機械学習、Python)

少し違うのであれば

「学習曲線 〇〇」 〇〇はあなたが得たいもののキーワード
等でググると近しいものが出てくるはずです。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.33%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • トップ
  • Python 3.xに関する質問
  • ニューラルネットの学習で,各エポック数のtrain・testのデータに加えて,検証用データの検証結果を加えたい