JupyterNotebookでカーネルが落ちる。実行直後にディスクに負担がかかっているのが原因っぽいが対策が分かりません。

Question

前提・実現したいこと

Jupyter notebookでの深層学習を勉強している初心者です。
本に書いてある、mnistを用いてエポック数が上がるにつれて正解率が上がっている様子を確認するコードを実行しているのですがkernelが途中で死んでしまい実行できません

発生している問題・エラーメッセージ

コードを実行するとカーネルが死んだ、再起動するとメッセージが出ます。タスクマネージャーを見たところ、コードを実行すると、最初は1％とかだったディスクの欄だけが実行数秒後に一時的に97％ぐらいに跳ねあがっています。その後kennelが落ちます。CPUやメモリは70％ぐらいまでしか上がらないので問題なさそうです。cpuやメモリが足りないならともかくディスクが跳ね上がるのはどう対策したらよいか分からなくて困っています。

エラーメッセージ

「The kernel appears to have died. It will restart automatically.」です

該当のソースコード

ソースコード
↓実際のコードです
import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation,Dense,Dropout
from keras.models import Sequential,load_model
from keras import optimizers
from keras.utils.np_utils import to_categorical
%matplotlib inline

(X_train,y_train),(X_train,y_test)=mnist.load_data()

X_train=X_train.reshape(X_train.shape[0],784)[:6000]
X_test=X_test.reshape(X_test.shape[0],784)[:1000]
y_train=to_categorical(y_train)[:6000]
y_train=to_categorical(y_test)[:1000]


model=Sequential()
model.add(Dense(256,input_dim=784))
model.add(Activaton("sigmoid"))
model.add(Dense(128))
model.add(Activaton("sigmoid"))
model.add(Dropout(rate=0.5))
model.add(Dense(10))
model.add(Activation("softmax"))

sgd=optimizers.SGD(lr=0.1)
model.compile(optimizer=sgd,loss="categorical_crossentropy",metrics=["accuracy"])



history = model.fit(X_train,y_train,batch_size=500,epochs=5,verbose=1,validation_data=(X_test,y_test))

acc,val_accのプロット
plt.plot(history.history["acc"],label="acc",ls="-",marker="o")
plt.plot(history.history["val_acc"],label="val_acc",ls="-",marker="x")

plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")

plt.show()


### 試したこと

numpyアップデート・再インストール、Tensorflowのバージョンダウン、PCのディスク解放、PC設定から仮想メモリの上限を7000MBへ。調べたところ、同じような事例があったので対策として書かれていた上記のことはやってみましたがダメでした。

### 補足情報（FW/ツールのバージョンなど）

PC:windows10　cpuは8GB

Comments

[plasticgrammer]

トレーニングおよびテストのデータ件数を極端に減らすとどうなるでしょうか？
例えば今6000件程度のものを100件にするとか。

[nemu_]

6000件を100件へ、1000件を10件へとそれぞれ置き換えてやってみましたが結果は変わりませんでした。やはり実行数十秒後にkernelが死にます…

[bsdfan]

jupyterでやられているとのことなので、一行ずつとか、ある程度のかたまりの単位で実行してみて、何をやったときにkernelが落ちるのかを確認してみてはどうでしょう。
(何回かやってみて、同じところで落ちるか確認するとよりベター)
ディスクの負荷でkernelが落ちるというのはあまり考えにくいです。

[nemu_]

アドバイスしていただいた通り何度か検証してみたところ、どうやら３行目の「from keras.datasets import mnist」のところでkernelが落ちることが判明しました。つまりmnistが何らかの原因でインポート出来てないのでしょうが、何か考えられる対策はありますでしょうか？

[bsdfan]

kerasがちゃんとインストールされていないのでしょうか。再インストールも試されているようなので、ちょっとわかりませんね。
tensorflow のバージョンが2だったら、kerasはtensorflowの中に入っているので、これを試してみてください。
from tensorflow.keras.datasets import mnist

[nemu_]

kerasを再インストール、さらに教えていただいたfrom tensorflow.keras.datasets import mnistもやってみましたがやはりダメでした。試しにGoogle Colaboratoryのほうで同じコードを実行してみたところ正常に実行できましたので、何らかの環境の原因かとは思うのですが…。長々とありがとうございます

[plasticgrammer]

Jupyter notebook 以外（通常のコンソールで実行）で実行することはできますか？
できるようでしたら、その結果を共有して頂けるとたすかります。

[nemu_]

Google Colaboratoryでは実行できました。
タイプミス部分とkeyエラーがあったのでそこは修正したものの、
import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation,Dense,Dropout
from keras.models import Sequential,load_model
from keras.utils.np_utils import to_categorical
from keras import optimizers

%matplotlib inline

(X_train,y_train),(X_test,y_test)=mnist.load_data()
X_train=X_train.reshape(X_train.shape[0],784)[:6000]
X_test=X_test.reshape(X_test.shape[0],784)[:1000]
y_train=to_categorical(y_train)[:6000]
y_test=to_categorical(y_test)[:1000]

model=Sequential()
model.add(Dense(256,input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))
model.add(Dropout(rate=0.5))
model.add(Dense(10))
model.add(Activation("softmax"))
sgd=optimizers.SGD(lr=0.1)
model.compile(optimizer=sgd,loss="categorical_crossentropy",metrics=["accuracy"])

history = model.fit(
X_train,
y_train,
batch_size=500,
epochs=5,
verbose=1,
validation_data=(X_test, y_test),
)

plt.plot(history.history["accuracy"],label="acc",ls="-",marker="o")
plt.plot(history.history["val_accuracy"],label="val_acc",ls="-",marker="x")

plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")

以上のプログラムより

Epoch 1/5
12/12 [==============================] - 0s 24ms/step - loss: 2.3855 - accuracy: 0.1553 - val_loss: 2.0380 - val_accuracy: 0.4630
Epoch 2/5
12/12 [==============================] - 0s 15ms/step - loss: 2.0973 - accuracy: 0.2653 - val_loss: 1.8543 - val_accuracy: 0.5540
Epoch 3/5
12/12 [==============================] - 0s 14ms/step - loss: 1.8763 - accuracy: 0.3693 - val_loss: 1.6837 - val_accuracy: 0.6570
Epoch 4/5
12/12 [==============================] - 0s 15ms/step - loss: 1.7182 - accuracy: 0.4500 - val_loss: 1.5269 - val_accuracy: 0.7150
Epoch 5/5
12/12 [==============================] - 0s 16ms/step - loss: 1.5703 - accuracy: 0.5205 - val_loss: 1.3912 - val_accuracy: 0.7390
<matplotlib.legend.Legend at 0x7f9dbc289240>

という結果が得られました。(グラフもちゃんと表示されています)