カーネルを開始中にエラーが発生しました

Question

前提・実現したいこと

SegNetプログラムを実行させる際、そのうちの学習用プログラムの実行の際に「カーネルを開始中にエラーが発生しました」というメッセージが表示されてしまいます。
実行時は以下のように数十分かけて学習が進んでいくですが、学習が完了した直後にエラーメッセージが突然現れ、動作が停止されてしまいます。
原因がまったくわからないので、これに対する解決策を教えていただきたいです。よろしくお願いいたします。

数十分経過後　↓

発生している問題・エラーメッセージ

カーネルを開始中にエラーが発生しました

2018???????? 17:22:23.007931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties: 
name: GeForce GTX 570 major: 2 minor: 0 memoryClockRate(GHz): 1.464
pciBusID: 0000:06:00.0
totalMemory: 1.25GiB freeMemory: 1015.65MiB
2018???????? 17:22:23.007931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1482] Ignoring visible gpu device (device: 0, name: GeForce GTX 570, pci bus id: 0000:06:00.0, compute capability: 2.0) with Cuda compute capability 2.0. The minimum required Cuda capability is 3.0.
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988] 0 
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0: N 
2018???????? 17:24:33.217214: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:33.222214: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:42.225729: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:42.225729: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:51.544262: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.

該当のソースコード

import os
import glob
import numpy as np
import keras

from model import SegNet

import dataset

input_shape = (360, 480, 3)
classes = 12
epochs = 100
batch_size = 1
log_filepath='./logs/'

data_shape = 360*480

class_weighting = [0.2595, 0.1826, 4.5640, 0.1417, 0.5051, 0.3826, 9.6446, 1.8418, 6.6823, 6.2478, 3.0, 7.3614]

## set gpu usage
import tensorflow as tf
config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True, per_process_gpu_memory_fraction = 0.8))
session = tf.Session(config=config)
keras.backend.tensorflow_backend.set_session(session)

def main():
    print("loading data...")
    ds = dataset.Dataset(classes=classes)
    train_X, train_y = ds.load_data('train') # need to implement, y shape is (None, 360, 480, classes)

    train_X = ds.preprocess_inputs(train_X)
    train_Y = ds.reshape_labels(train_y)
    print("input data shape...", train_X.shape)
    print("input label shape...", train_Y.shape)

    test_X, test_y = ds.load_data('test') # need to implement, y shape is (None, 360, 480, classes)
    test_X = ds.preprocess_inputs(test_X)
    test_Y = ds.reshape_labels(test_y)

    tb_cb = keras.callbacks.TensorBoard(log_dir=log_filepath, histogram_freq=1, write_graph=True, write_images=True)
    print("creating model...")
    model = SegNet(input_shape=input_shape, classes=classes)
    model.compile(loss="categorical_crossentropy", optimizer='adadelta', metrics=["accuracy"])

    model.fit(train_X, train_Y, batch_size=batch_size, epochs=epochs,
              verbose=1, class_weight=class_weighting , validation_data=(test_X, test_Y), shuffle=True
              , callbacks=[tb_cb])

    model.save('seg.h5')

if __name__ == '__main__':
    main()

補足情報（FW/ツールのバージョンなど）

開発環境

• Windows7 (64bit)
• Anaconda Navigator
• Spyder (Python3.6)
• keras 2.2.4
• tensorflow 1.12.0

Answer 1

動作が停止してしまう、ってどんな状況でしょうか？　フリーズとかスタックトレース吐いて落ちるとか色々あると思いますが（出ているものはどちらかといえばログ、エラーメッセージとは微妙に違う）。実行後にプロンプトが戻ってきますか？

それはそれとして、メッセージの意味を。

# この「エラー」の直接の原因は不明。spyderが出してるっぽい
カーネルを開始中にエラーが発生しました

# GPUが古すぎて使えないから無視すると言っている
2018???????? 17:22:23.007931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties: 
name: GeForce GTX 570 major: 2 minor: 0 memoryClockRate(GHz): 1.464
pciBusID: 0000:06:00.0
totalMemory: 1.25GiB freeMemory: 1015.65MiB
2018???????? 17:22:23.007931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1482] Ignoring visible gpu device (device: 0, name: GeForce GTX 570, pci bus id: 0000:06:00.0, compute capability: 2.0) with Cuda compute capability 2.0. The minimum required Cuda capability is 3.0.
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988] 0 
2018???????? 17:22:23.017931: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0: N 

# パソコンのメモリをオーバーしてしまい、スワップしていると言っている
2018???????? 17:24:33.217214: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:33.222214: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:42.225729: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:42.225729: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.
2018???????? 17:24:51.544262: W tensorflow/core/framework/allocator.cc:122] Allocation of 796262400 exceeds 10% of system memory.

とりあえず、もうちょっと性能の良いマシンが要ると思います。そのパソコンではどのみち無理です。

途中で止まってしまうことの直接の原因はよくわかりません。最初にも書きましたが「どんな状況か」にもよります。

もしかしたらspyder以外のところから立ち上げると上手くいくか、もう少しわかりやすいメッセージが拝めるかもしれません。

Comments

[Teagle333]

segnetのリンク先のプログラム通りに動作をさせる際、
train.pyを実行し、学習が完了した直後にコンソール上にこのメッセージが発生するので、学習が完了したことにならず、この後に実行するpredict.pyに進むことができません。

[hayataka2049]

＞学習が完了した直後にコンソール上にこのメッセージが発生するので
なにをもって完了したと判断していますか？　また、メッセージが出たあとどうなりますか？

[Teagle333]

1 epoch 目の段階で、367個のサンプルをすべて読み込んだ後、
エラーメッセージがコンソール全体に表示され、一度コンソールを閉じないとプログラムが実行できない状態になります。

[hayataka2049]

「カーネルを開始中にエラーが発生しました」以外はマシンスペックが低いというエラーなので、性能の良いパソコンで実行してみてください。推測ですが、マシンスペック不足でプログラム自体がエラーを吐き、spyderのカーネルを巻き込んで落としているのかもしれません

[Teagle333]

今よりさらに性能を上げるとすると、主にGPUあたりになるのでしょうか？

[hiro329]

横からすみません。
私も、同様なエラーが出たことがあります。
読み込みファイルサイズがでかすぎて、マシンスペックが低いため起きたエラーでした。
同じプログラムで画像サイズを小さいもので試したら、無事動いたため、GPUをあげたりメモリーの容量などが関係してくると思います。
横から失礼しまた。

[hayataka2049]

hiro329さんのコメントの通り、まずメモリがもっと要ります。画像サイズを落とす、バッチサイズを小さくするといったチューニングもある程度有効です。
あと、Pascal世代のGPUが要るでしょう。

[Teagle333]

とりあえずCamVidフォルダ内の画像ファイルのサイズを小さくし、プログラム中の対応するコードも書き換えて実行してみたのですが、以下のようなエラーがhかれてしまいました。

　　　IndexError: index 12 is out of bounds for axis 2 with size 12

同じプログラムで画像サイズだけを変更する場合は、どのように書き換えればよいのでしょうか？

[Teagle333]

「FastStone Photo Resizer」という画像編集ソフトを使い、
画像サイズを変換する際に「Advanced Options」の「Filter」を「<None>」に設定し、「Color Depth」を「256(8bit)」に設定した結果、うまくいきました。
hiro329様、hayataka2049様のおっしゃるとおり、画像サイズを小さくするという手法が有効だったみたいです。解決策のご提供ありがとうございました。