学習がエラー表示なしに強制終了してしまう

Question

初質問です。色々と至らないところがあるとは思いますがよろしくお願いします。

前提・実現したいこと

https://github.com/MrGiovanni/UNetPlusPlus
URL先のU-net++というネットワークを使用してみたく自身でデータの用意とmain.pyが無かったので自作し、昨日いざ動かしてみたのですが、
epoch1でしかもプログレスバーを表示させる設定にしているにも関わらず表示されずに強制終了とだけ出て動きません。
エラーメッセージも表示されないので原因がわからず質問させていただきました。
どなたか原因・対処法を教えていただけないでしょうか…

発生している問題・エラーメッセージ

以下の画像の通りです。
FutureWarningは発生していますがエラーメッセージが表示されず強制終了されてしまいます。塗りつぶしてある部分は名前隠しです。

該当のソースコード

from model import *
from PIL import Image
import sys
import os,glob
import numpy as np
import cv2

sys.path.append(os.path.abspath(".."))
sys.path.append(os.path.abspath("../backbones"))

from utils import freeze_model
from backbones import get_backbone
from utils import get_layer_number, to_tuple


dir_train_img="data/train/image"
dir_train_label="data/train/label"
dir_test_img="data/test/image"
dir_test_label="data/test/label"

train_image=np.empty((1,256,256,3))
train_label=np.empty((1,256,256,3))
test_image=np.empty((1,256,256,3))
test_label=np.empty((1,256,256,3))

def processing_data(dir_name):
    data_list=np.empty(0)
    path=[dir_name,"*.png"]
    files=glob.glob(os.path.join(*path))
    for num,i in enumerate(files):
        img=cv2.imread(i)
        img=cv2.resize(img,(256,256))
        img=img/255
        img_expanded=np.expand_dims(img,axis=0)
        if(num>0):
            data_list=np.concatenate((data_list,img_expanded),axis=0)
        else:
            data_list=img_expanded
    print(data_list.shape)
    return data_list

        
train_image=processing_data(dir_train_img)
train_label=processing_data(dir_train_label)
test_image=processing_data(dir_test_img)
test_label=processing_data(dir_test_label)


# prepare model
model = Xnet(backbone_name='vgg16', encoder_weights='imagenet', decoder_block_type='upsampling') 

model.compile('Adam', 'binary_crossentropy', ['binary_accuracy'])

# train model
model.fit(train_image, train_label,epochs=5,verbose=1)
test_loss, test_acc =model.evaluate(test_image,test,label)

print("loss=",test_loss)
print("acc=",test_acc)

このmainを新たに作成したこと以外、他の部分(冒頭のリンク先からDLできるもの)のコードはほとんど変えていません。
結果を見る限りmodel.fitの部分でなにか起きているようですが…

補足情報（FW/ツールのバージョンなど）

冒頭のリンク先の設定を参考にして、
python:3.5.9
tensorflow:1.4.1
keras:2.2.2

追記
pythonはpyenvを利用してversion3.5.9にしています。

###回答者様へ
sudo cat /var/log/syslogでのプログラム終了間際の出力です。
エラーメッセージの部分の画像と同様、塗りつぶされている部分は名前隠しです。

Comments

[meg_]

メッセージを見ると、「tensorflowが使用できない」的なことが書いてありますが、今まではtensorflowは使用できていましたか？

[kamehameha1241]

お返事ありがとうございます。
下部の
Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2
というメッセージのことについてでしょうか。
https://teratail.com/questions/193036
こちらのリンクの通りに動作確認を行ってみましたが、
正しく出力されているようなので、tensorflowはきちんと動作していると思われます。

[退会済みユーザー]

○○ is deprecated（そのうち使えなくなるから次のバージョンアップまでに切り替えてね） と、CPUの命令セット系のエラー（TensorflowはこのCPUが対応していない命令セットでコンパイルされているから、実際には使わないで実行するよ）は無視してOKです。コンソールの末端部分にこのほかのエラーが出ているのであれば掲載してください。

pythonのコードの途中の要所要所に、print("check point 1")、print("check point ２")のような感じで目印をつけて行って、どの関数を実行したときに強制終了されるか観察してはいかがでしょうか？

[kamehameha1241]

お返事ありがとうございます。
・他のエラーが出ているかについて
スクリーンショット撮影時には消えてしまっていますが、Epoch 1/5の次の行に「強制終了」とだけ表示されました。model.fitについて書かれているページ(https://keras.io/ja/models/model/)にもこの場合のエラーについて記載されておらず、困っています。

・printデバッグについて
行ってみたところ、model.fitの行で停止してしまっているようです。

[退会済みユーザー]

ありがとうございます。これ以上は何も特に表示なしに「強制終了」（もしくはprocess killedのような通知のみが一瞬（？）だけ）出て落ちる、として理解しました。
念のためタスクマネージャーか何かのCPU,メインメモリの使用率を見ながらmodel.fitできますか？リソースを食いつぶして落ちている可能性があるためです。もしかしたらSSDかHDDで同じことが起きているかもしれませんので注意深く観察してください。

[kamehameha1241]

ありがとうございます。
タスクマネージャーではなくsudo cat /var/log/syslogでの確認になりますが、その内容を質問の方に追記させて頂きました。
内容を見る限りメモリ不足による強制終了だと思われるのですが、そのような認識で合っていますでしょうか?

[退会済みユーザー]

原因が確定ではないので回答ではなくコメント欄に書きます。
---
syslogの読み方に慣れていませんが、メモリを食いつぶされて"Process killed"はよく見てきました。その時はgnome-system-monitor何かを使って処理の進行とメモリ残量を確認してきました。
メモリ増設以外の対策があるとすれば、SWAPを増やす、モデルを小さくする、学習データを減らす、バッチを小さくするといった対策になると思います。

[kamehameha1241]

gnome-system-monitorを使用してみたところ、CPUとメモリが100%使用されていたのでやはりメモリ不足による強制終了だと思われます。
とりあえず仰られた対策を実行してみようかと思いますが、質問の主題である強制終了の原因は判明したので、ベストアンサーの方を差し上げたいです。
お手数ですが、回答の方お願いできますでしょうか。

Answer 1

深層学習では膨大な量のメモリを使用します。この時、メモリの許容量の限界までPythonが使ってしまうと、突然通知がなく落ちたり、Process killedのような表示のみがされてクラッシュすることがあります。
Ubuntuではgnome-system-monitorを使うと、グラフィカルに使用中のメモリの量の推移を見ることができます。

メモリが食いつぶされてクラッシュする場合の対策は、以下の対策が考えられます。ご検討ください。

1. データ量を減らす（画像であれば解像度や枚数を減らす）
2. モデルを小さくする
3. バッチサイズを小さくする
4. スワップ領域を増やす
5. メモリを増設する

Comments

[kamehameha1241]

ありがとうございます。