kerasでSegNetのラベルの色について

Question

「keras(tensorflow)でSegNet」
(https://qiita.com/uni-3/items/a62daa5a03a02f5fa46d)
に記載されているコードを参考に自分でも実装しようとして
おりますが、下記コード

import numpy as np
import keras
from PIL import Image

from model import SegNet

import dataset

height = 176
width = 240
classes = 12
epochs = 10
batch_size = 1
log_filepath='./logs_10/'

data_shape = 176*480

def writeImage(image, filename):
    """ label data to colored image """
    Sky = [128,128,128]
    Building = [128,0,0]
    Pole = [192,192,128]
    Road_marking = [255,69,0]
    Road = [128,64,128]
    Pavement = [60,40,222]
    Tree = [128,128,0]
    SignSymbol = [192,128,128]
    Fence = [64,64,128]
    Car = [64,0,128]
    Pedestrian = [64,64,0]
    Bicyclist = [0,128,192]
    Unlabelled = [0,0,0]
    r = image.copy()
    g = image.copy()
    b = image.copy()
    label_colours = np.array([Sky, Building, Pole, Road_marking, Road, Pavement, Tree, SignSymbol, Fence, Car, Pedestrian, Bicyclist, Unlabelled])
    for l in range(0,12):
        r[image==l] = label_colours[l,0]
        g[image==l] = label_colours[l,1]
        b[image==l] = label_colours[l,2]
    rgb = np.zeros((image.shape[0], image.shape[1], 3))
    rgb[:,:,0] = r/1.0
    rgb[:,:,1] = g/1.0
    rgb[:,:,2] = b/1.0
    im = Image.fromarray(np.uint8(rgb))
    im.save(filename)

def predict(test):
    model = keras.models.load_model('seg.h5')
    probs = model.predict(test, batch_size=1)

    prob = probs[0].reshape((height, width, classes)).argmax(axis=2)
    return prob

def main():
    print("loading data...")
    ds = dataset.Dataset(test_file='val.txt', classes=classes)
    test_X, test_y = ds.load_data('test') # need to implement, y shape is (None, 176, 240, classes)
    test_X = ds.preprocess_inputs(test_X)
    test_Y = ds.reshape_labels(test_y)

    prob = predict(test_X)
    writeImage(prob, 'val.png')

if __name__ == '__main__':
    main()

でセグメンテーションされた色が Pavement = [60,40,222]（青） の色が木の部分に
割り当てられているように思います。

Road = [128,64,128]なども色が違う（紫がオレンジになっている）ように思うのですが、
これは[R,G,B]の順という意味ではないのでしょうか？
参考にしたサイトでは「おおむねセグメントされている」となっておりますが、この色の
違いについてご教示いただけませんでしょうか。

お手数をお掛けいたしますが、よろしくお願い申し上げます。

Answer 1

セグメンテーションとは各ピクセルが予め定義されたどのクラスかを判定するタスクですので、可視化する際にクラス1のピクセルは赤色、クラス2のピクセルは青色などと適当な色を割り当てて、セグメンテーション結果をわかりやすくしています。
色の指定順序は RGB です。

Sky = [128, 128, 128]
Building = [128, 0, 0]
Pole = [192, 192, 128]
Road_marking = [255, 69, 0]
Road = [128, 64, 128]
Pavement = [60, 40, 222]
Tree = [128, 128, 0]
SignSymbol = [192, 128, 128]
Fence = [64, 64, 128]
Car = [64, 0, 128]
Pedestrian = [64, 64, 0]
Bicyclist = [0, 128, 192]
Unlabelled = [0, 0, 0]

colors = np.array([Sky, Building, Pole, Road_marking, Road, Pavement, Tree,
                   SignSymbol, Fence, Car, Pedestrian, Bicyclist, Unlabelled])
labels = np.array(['Sky', 'Building', 'Pole', 'Road_marking', 'Road',
                   'Pavement', 'Tree', 'SignSymbol', 'Fence', 'Car',
                   'Pedestrian', 'Bicyclist', 'Unlabelled'])

fig, ax_list = plt.subplots(len(colors), 1, figsize=(5, 10))
for ax, color, label in zip(ax_list, colors, labels):
    color_img = np.full((1, 10, 3), color, dtype=np.uint8)

    ax.imshow(color_img, aspect='auto')
    ax.set_axis_off()
    ax.text(-1, 0, label, va='center', ha='right', fontsize=10)

plt.show()

Road = [128,64,128]なども色が違う（紫がオレンジになっている）ように思うのですが、

オレンジ色は Road_marking というクラスのようです。

Comments

[hss_]

大変分かり易い回答ありがとうございます。RBGの順であること、道路はRoad_markingに分類
されているということがよく理解できました。本当にありがとうございます。
追加で申し訳ありませんが、ということは学習ラベルの方に問題があるということでしょうか。
写真ではRoadと思われる部分がセグメンテーションではRoad_markingになっていたり、Treeと
思われる部分がPavemenntに分類されていたりするのが気になっております。
お忙しいところ恐縮ですが、ご教示いただけると助かりますよろしくお願い申し上げます。

[tiitoi]

学習がうまくいっていないか、出力されたクラス番号とラベル名の対応付けが間違っているかのどちらかと思われます。

[hss_]

親切なご回答ありがとうございました。状況が整理できてとても助かりました。
重ねてお礼申し上げます。