質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

ディープラーニングでのデータセットの読み込みと渡し方(セグメンテーション)

受付中

回答 0

投稿

  • 評価
  • クリップ 0
  • VIEW 640

quiqui59911225

score 16

ディープラーニングのセマンティックセグメンテーションにおけるデータの渡し方について質問です。

SegNetを用いて、画像のセグメンテーションを実装してみたいと思いましたが、
ディレクトリからデータを読みこむあたりのコーディング方法がわからないので教えていただきたいです。

フレームワークはkerasを使っています。
ディレクトリ構成は以下のようになっています。

projectcodes
   │   ├ segnet_model.py(モデルを記述したファイル)
   │   └ train.py (実行ファイル)
   └ datatrain_images (元々のデータセットの訓練用画像)
       ├ train_labels (元々のデータセットの訓練用の真値セグメンテーション画像)
       ├ test_images (元々のデータセット内のテスト用画像)
       ├ reshaped_train_images (reshapeしたデータセットの訓練用画像)
       ├ reshaped_label_images (reshapeしたデータセットの訓練用の真値セグメンテーション画像)
       ├ reshaped_val_images (reshapeしたデータセットのバリデーション用画像)
       └ reshaped_val_labels (reshapeしたバリデーション画像の真値セグメンテーション画像)


元々のデータセット内の画像はデータサイズが大きかったので、別プログラムで360×480にreshape、かつ、train用とvalidation用に分割しました。

コードは以下の2つです。

# segnet_model.py
from keras.layers import Input
from keras.layers.core import Activation, Flatten, Reshape
from keras.layers.convolutional import Convolution2D, Conv2D, MaxPooling2D, UpSampling2D
from keras.layers.normalization import BatchNormalization
from keras.models import Model
from keras.utils import np_utils

def SegNet(input_shape=(360, 480, 3), classes=4):
    ### @ https://github.com/alexgkendall/SegNet-Tutorial/blob/master/Example_Models/bayesian_segnet_camvid.prototxt
    img_input = Input(shape=input_shape)
    x = img_input
    # Encoder
    x = Conv2D(64, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)
    x = MaxPooling2D(pool_size=(2, 2))(x)

    x = Conv2D(128, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)
    x = MaxPooling2D(pool_size=(2, 2))(x)

    x = Conv2D(256, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)
    x = MaxPooling2D(pool_size=(2, 2))(x)

    x = Conv2D(512, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)

    # Decoder
    x = Conv2D(512, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)

    x = UpSampling2D(size=(2, 2))(x)
    x = Conv2D(256, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)

    x = UpSampling2D(size=(2, 2))(x)
    x = Conv2D(128, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)

    x = UpSampling2D(size=(2, 2))(x)
    x = Conv2D(64, (3, 3), padding="same")(x)
    x = BatchNormalization()(x)
    x = Activation("relu")(x)

    x = Conv2D(classes, (1, 1), padding="valid")(x)
    x = Reshape((input_shape[0] * input_shape[1], classes))(x)
    x = Activation("softmax")(x)
    model = Model(img_input, x)
    return model
# train.py(未完成)
import os
import glob
import numpy as np
import keras
from segnet_model import SegNet
from keras.preprocessing.image import ImageDataGenerator

## set gpu usage
import tensorflow as tf
config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True, per_process_gpu_memory_fraction = 0.8))
session = tf.Session(config=config)
keras.backend.tensorflow_backend.set_session(session)


def main():
    input_shape = (360, 480, 3)
    classes = 4
    epochs = 100
    batch_size = 1
    log_filepath='./logs/'

    data_shape = 360*480

    class_weighting = [1,20,1,200]
    categories = [('car',[0,0,255]),('pedestrian',[255,0,0]),('lane',[69,47,142]),('signal',[255,255,0])]
    category_item = ['car', 'pedestrian', 'lane', 'signal']
    train_datagen = ImageDataGenerator(
        rescale=1.0 / 255
        )
    test_datagen = ImageDataGenerator(rescale=1.0 / 255)


    # データの読み込み
    # このあたりと、この先のmodel.fit()に渡すデータの引数との関係がわからない
    train_generator = train_datagen.flow_from_directory(
        'PATH/TO/reshaped_train_images',
        target_size=(360, 480),
        color_mode='rgb',
        batch_size=batch_size,
        classes=category_item
        class_mode='input'
        )

    validation_generator = test_datagen.flow_from_directory(
        'PATH/TO/reshaped_val_images',
        target_size=(360, 480),
        color_mode='rgb',
        batch_size=batch_size,
        classes=category_item
        class_mode='input'
        )


    tb_cb = keras.callbacks.TensorBoard(log_dir=log_filepath, histogram_freq=1, write_graph=True, write_images=True)
    print("creating model...")

    model = SegNet(input_shape=input_shape, classes=classes)
    model.compile(loss="categorical_crossentropy", optimizer='adadelta', metrics=["accuracy"])


    model.fit(train_generator, train_Y, batch_size=batch_size, epochs=epochs,
              verbose=1, class_weight=class_weighting , validation_data=(validation_generator, test_Y),
              shuffle=True, callbacks=[tb_cb])


    model.save('seg.h5')

if __name__ == '__main__':
    main()

わからないのは、train.py内の、ディレクトリからのデータの読み込みに部分と、どのようにmodel.fit()に渡すのか、ということです。上記のtrain.pyでは、真値のセグメンテーション画像を指定してないような気がしています。(train_generatorなどのジェネレータの意味もわかっていません...)
train.pyは自分で作ろうとしている途中のもので、どうコーディングしたら良いかわからずに質問させていただきました。
また、初心者なので、どんなアドバイスでもいただけたら嬉しいです。
お力添えをお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る