Segnetを用いて画像を機械学習させたい

Question

前提・実現したいこと

・anacondaを用いて構築したsegnetという仮想環境を用いて、pycharmでディープラーニングのネットワーク（SegNet）を実装しています。

・使用する画像を読み込む際にエラーメッセージが表示されてしまいます

発生している問題・エラーメッセージ

/Users/yamadajunya/opt/anaconda3/envs/segnet/bin/python /Users/yamadajunya/segnetcode/Segnet-master/main.py
Using TensorFlow backend.
Traceback (most recent call last):
File "/Users/yamadajunya/segnetcode/Segnet-master/main.py", line 78, in <module>
main()
File "/Users/yamadajunya/segnetcode/Segnet-master/main.py", line 53, in main
sg = loader.segment_generator(path_b)
File "/Users/yamadajunya/segnetcode/Segnet-master/loader.py", line 65, in segment_generator
image = identity[image]
IndexError: index 22 is out of bounds for axis 0 with size 22

該当のソースコード

main.pyは以下の通りです

import numpy as np
from PIL import Image
import os,glob
import matplotlib.pyplot as plt
import keras
from keras import layers
from keras import models
from keras import optimizers
import tensorflow as tf
import loader
import model

**#show functions**
def show_segment(sg):
  sg = np.argmax(sg,axis=-1)
  plt.figure()
  plt.imshow(np.asarray(sg))
  plt.show()
def show_image(im):
    plt.figure()
    plt.imshow(im)
    plt.show()
def compare_TV(history,dir):
     **   # Setting Parameters**
        acc = history.history['acc']
        val_acc = history.history['val_acc']
        loss = history.history['loss']
        val_loss = history.history['val_loss']
        epochs = range(len(acc))
      **  # 1) Accracy Plt**
        plt.figure()
        plt.plot(epochs, acc, 'bo' ,label = 'training acc')
        plt.plot(epochs, val_acc, 'b' , label= 'validation acc')
        plt.title('Training and Validation acc')
        plt.legend()
        plt.savefig(dir+"/acc.png")

       ** # 2) Loss Plt**
        plt.figure()
        plt.plot(epochs, loss, 'bo' ,label = 'training loss')
        plt.plot(epochs, val_loss, 'b' , label= 'validation loss')
        plt.title('Training and Validation loss')
        plt.legend()
        plt.savefig(dir+"/loss.png")
**#define the loss function**
def my_loss(x,y):
  return tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(x,y))

def main():
    **#load VOCdataset**
    path_a , path_b = loader.generate_path("/Users/yamadajunya/Segnet/VOCdataset/original","/Users/yamadajunya/Segnet/VOCdataset/segmented")
    im = loader.image_generator(path_a)
    sg = loader.segment_generator(path_b)
    print("load is succesfully finished!")
    M = model.build_Segnet()
    save_dir ="Segnet"
    if(len(sys.argv)>1):
        save_dir=sys.argv[1]
    M.compile(loss="categorical_crossentropy", optimizer="adam",metrics=["acc"])
    M.summary()
    history = M.fit(im[:2000],sg[:2000],batch_size = 4,validation_data = (im[2000:2500],sg[2000:2500]),epochs = 100)
 **   #history = M.fit(im[:2000],sg[:2000],batch_size = 4,epochs = 20)**
    compare_TV(history,save_dir)
    for i in range(100):
        pred = M.predict(im[2500+i].reshape(1,64,64,3))
        sg = np.argmax(pred[0],axis=-1)
        plt.figure()
        plt.imshow(np.asarray(sg))
        plt.savefig("./"+save_dir+"/{}.png".format(i))
    for i in range(100):
        pred =  M.predict(im[i].reshape(1,64,64,3))
        sg = np.argmax(pred[0],axis=-1)
        plt.figure()
        plt.imshow(np.asarray(sg))
        plt.savefig("./"+save_dir+"/train{}.png".format(i))

if __name__=='__main__':
    main()

該当のソースコード

loader.pyは以下の通りです

import numpy as np
from PIL import Image
import os,glob
import matplotlib.pyplot as plt
from keras import layers
from keras import models
from keras import optimizers
import tensorflow as tf
**#get path of the available image.**
def generate_path(dir_original,dir_segmented):

	**#get paths using glob**
	paths_original = glob.glob(dir_original + "/*")
	paths_segmented = glob.glob(dir_segmented + "/*")

**	#Error indication**
	if (len(paths_original)*len(paths_segmented)==0):
		raise FileNotFoundError("Sorry, we could not find your files.Check path please.")

	filenames = list(map(lambda path: path.split(os.sep)[-1].split(".")[0],paths_segmented))
	paths_original = list(map(lambda filename: dir_original +"/"+filename+".jpg",filenames))

	return paths_original,paths_segmented


def image_generator(file_paths, init_size=(64,64), normalization = True):
	"""
	file_paths (list[string]):File paths you want to load.
	init_size (tuple(int,int)):We will resize the pics.
	normalization (bool):If true, we transfer the pixel value to [0,1].
	"""
	images = np.zeros((len(file_paths),init_size[0],init_size[1],3))
	i = 0
	for file_path in file_paths:
		if file_path.endswith(".png") or file_path.endswith(".jpg"):
			image = Image.open(file_path)
			**#image = Loader.crop_to_square(image)**
			if(init_size is not None and init_size !=image.size):
				image = image.resize(init_size)
			if(image.mode == "RGBA"):
				image = image.convert("RGB")
			image = np.asarray(image,dtype = np.float32)
			if normalization:
				image = image/255.0
			images[i] = image
		i+=1
	return images

def segment_generator(file_paths, init_size =(64,64),max_class = 22):
	"""
	file_paths (list[string]):File paths you want to load.
	init_size (tuple(int,int)):We will resize the pics.
	"""
	images = np.zeros((len(file_paths),init_size[0],init_size[1],max_class))
	i = 0
	for file_path in file_paths:
		if file_path.endswith(".png") or file_path.endswith(".jpg"):
			image = Image.open(file_path)
			if(init_size is not None and init_size !=image.size):
				image = image.resize(init_size)
		image = np.asarray(image,dtype = np.uint8)
		image = np.where(image ==255, max_class-1,image)

		identity = np.identity(max_class,dtype = np.uint8)
		image = identity[image]
		images[i] = image
		i+=1

	return images

**#データローダの動きを確認**
def test():
	path_a , path_b = generate_path("./VOCdataset/original","./VOCdataset/segmented")
	print("path_generation is done")
	im = image_generator(path_a)
	sg = segment_generator(path_b)
	print(im.shape,sg.shape)
	sum_or = True
	for i in range(sg.shape[0]):
		sum_or = sum_or or np.all(sg.sum(axis=-1)[i]==1)
	print(sum_or)
****	#sns.heatmap(sg.sum(axis=-1)[20])
	**#plt.show()******

python

コードはこちらを参照しています。
https://github.com/milky1210/Segnet
上のGithubでダウンロードしたSegnet-masterというフォルダをsegnetcodeというフォルダに格納しています。

また、こちらのサイトも参照しています
https://qiita.com/milky9712/items/dd4fae64751938c038e3

VOCデータセットをダウンロードして、入力画像を"Segnet/VOCdataset/original"、セグメンテーションされた画像を"Segnet/VOCdataset/segmented"に格納しています

VOCデータセットは下記のサイトのDownload the training/validation data (2GB tar file)からダウンロードしています。
http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

試したこと

22クラスに分類することを学習している最中にエラーが出ていると予測したので、クラス数などを変えてみましたが、だめでした。
VOCデータセットのクラス分類とsegnetのクラス分類で何か違いが出ているのでしょうか？

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[jbpb0]

pythonのコードの一番最初の行のすぐ上に
```python
だけの行を追加してください
また、pythonのコードの一番最後の行のすぐ下に
```
だけの行を追加してください

現状、コードがとても読み辛いです

[jenison]

すいません。初心者なものでありがとうございます。

[jbpb0]

loader.segment_generator()の
image = identity[image]
の際に、imageの各画素には0～21の値しか入っていてはいけないのですが、22という値が入っているため、

> IndexError: index 22 is out of bounds for axis 0 with size 22

というエラーになってるようです

http://host.robots.ox.ac.uk/pascal/VOC/voc2012/segexamples/index.html
によると、元データの値は0～20と255で、コードの
image = np.where(image ==255, max_class-1,image)
で255をmax_class-1=21に置き換えているので、0～21しかないはずなのですが、謎です

[jbpb0]

https://teratail.com/questions/280046
の「質問への追記・修正の依頼」に、同じエラーが書かれてました

segmentedに、ルールに反した画像が混入してるのを疑った方がいいかもしれません

[jbpb0]

image = np.where(image ==255, max_class-1,image)
の次に
if np.max(image) > 21:
print(file_path + " max: " + str(np.max(image)))
を追加すれば、どのファイルが21よりも大きな値を持っているのかが分かります
(2行目のprint(...はインデントを入れてください)

[jenison]

返信ありがとうございます
jbpb0さんの指示通り
image = np.where(image ==255, max_class-1,image)
の次に
if np.max(image) > 21:
print(file_path + " max: " + str(np.max(image)))
を追加したところ、
2011_002920.pngの画像がクラスが38個存在していたみたいな結果がきました。
よって、VOCdatasetのoriginalとsegmentedフォルダからそれぞれ2011_002920.jpgと2011_002920..pngを削除しました。

すると、
>>> tf.get_variable_scope()
AttributeError: module 'tensorflow' has no attribute 'variable_scope'

上記のようなエラーが出てきました（正確ではないかもしれません）
そこでmodel.pyの30行目を以下のように修正しました。
with tf.compat.v1.variable_scope(self.name):

すると学習？が開始されました。

学習には数時間かかりそうなため、とりあえず報告させていただきます。
ご教授ありがとうございました。

学習が終わったらSegnetが使えるようになるかはわかりませんが
学習がおわったら結果もここで報告させていただきたいと思います。

[jenison]

学習が終わったら以下のようなエラーが出てしまいました(泣

‥
1984/2000 [============================>.] - ETA: 0s - loss: 0.3941 - acc: 0.8655
1988/2000 [============================>.] - ETA: 0s - loss: 0.3942 - acc: 0.8655
1992/2000 [============================>.] - ETA: 0s - loss: 0.3946 - acc: 0.8654
1996/2000 [============================>.] - ETA: 0s - loss: 0.3951 - acc: 0.8652
2000/2000 [==============================] - 120s 60ms/step - loss: 0.3948 - acc: 0.8653 - val_loss: 1.2409 - val_acc: 0.6576
Traceback (most recent call last):
File "/Users/yamadajunya/segnetcode/Segnet-master/main.py", line 79, in <module>
main()
File "/Users/yamadajunya/segnetcode/Segnet-master/main.py", line 64, in main
compare_TV(history,save_dir)
File "/Users/yamadajunya/segnetcode/Segnet-master/main.py", line 37, in compare_TV
plt.savefig(dir+"/acc.png")
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/pyplot.py", line 859, in savefig
res = fig.savefig(*args, **kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/figure.py", line 2311, in savefig
self.canvas.print_figure(fname, **kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/backend_bases.py", line 2217, in print_figure
**kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/backend_bases.py", line 1639, in wrapper
return func(*args, **kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/backends/backend_agg.py", line 512, in print_png
dpi=self.figure.dpi, metadata=metadata, pil_kwargs=pil_kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/matplotlib/image.py", line 1611, in imsave
image.save(fname, **pil_kwargs)
File "/Users/yamadajunya/opt/anaconda3/envs/segnet/lib/python3.6/site-packages/PIL/Image.py", line 2161, in save
fp = builtins.open(filename, "w+b")
FileNotFoundError: [Errno 2] No such file or directory: 'Segnet/acc.png'

プロセスは終了コード 1 で完了しました

おそらくmain.pyの37行目の
plt.savefig(dir+"/acc.png")
がエラーの原因だと思われるのですが何か解決策はありますでしょうか?
図を保存する際にエラーが出てしまっていると思うのですが‥

また、今更の話になってしまいますが
クラス分類したい画像を入力し、クラス分けした画像を保存することはこのコードでできるでしょうか？

返信お待ちしております。

[jbpb0]

> 図を保存する際にエラーが出てしまっていると思うのですが‥

カレントディレクトリに「Segnet」というフォルダはありますか？
カレントディレクトリは、Pythonで下記を実行したら分かります
import os
path = os.getcwd()
print(path)

[jbpb0]

> クラス分類したい画像を入力し、クラス分けした画像を保存する

「クラス分けした画像を保存」というのは、どういう意味ですか？
普通は分類は、候補各クラスの確率を数値で得て、確率最大のクラスのラベル(ネコとかイスとか)を表示させるくらいです

[jbpb0]

> main.pyの37行目の
plt.savefig(dir+"/acc.png")
がエラーの原因だと思われるのですが

以下、「Segnet」というディレクトリに「main.py」等があるとします

予め「Segnet/Segnet」ディレクトリを作成しておいてから、Anacondaプロンプトで下記を実行したら、当方ではそのエラーは出ませんでした
cd 「Segnet」ディレクトリのパス
python main.py Segnet

やはり、ディレクトリが無いために画像を保存できないというエラーだと思います

当方の環境
　Windows 10
　Python 3.7.9
　tensorflow-gpu 1.15.3
　Keras 2.3.1

Answer 1

私も同様に進めているのですが、その後も色々エラーがでており、
心おれそうです。

Answer 2

”2011_002920.jpg”が該当のエラー画像のようです。
質問なのですが、お使いのPythonのバージョン、Tensorflowのバージョン、Kerasのバージョンを教えていただけないでしょうか？
よろしくお願いいたします。

Answer 3

「loader.segment_generator()」の

        image = identity[image]

の際に、imageの各画素には0～21の値しか入っていてはいけないのですが、22という値が入っているため、

IndexError: index 22 is out of bounds for axis 0 with size 22

というエラーになってるようです

PASCAL VOC2011 Example Segmentations
によると、元データの値は0～20と255で、コードの

        image = np.where(image ==255, max_class-1,image)

で255をmax_class-1=21に置き換えているので、その通りならば0～21しかないはずなのですが

Segnetを動かしてみたい
の「質問への追記・修正の依頼」に、同じエラーが書かれてました
segmentedに、ルールに反した画像が混入してるのを疑った方がいいかもしれません

        image = np.where(image ==255, max_class-1,image)

の次に

        if np.max(image) > 21:
            print(file_path + " max: " + str(np.max(image)))

を追加すれば、どのファイルが21よりも大きな値を持っているのかが分かります