ポケモンの画像を集め、それにノイズをかけ、ノイズ除去できるようにしたい。

Question

前提・実現したいこと

ポケモンの画像を集め、それにノイズをかけたときにノイズ除去できるようにしたい。

発生している問題・エラーメッセージ

そもそもそのポケモンのデータを訓練データとテストデータに分けるやり方がわかりません。参考にしていたmnistのサイトでは

from tensorflow.python.keras.datasets import mnist
(x_train, y_train),(x_test, y_test) = mnist.load_data()

の２行で終わっちゃってるんですけど　mnist.load_data()　に当たる部分を自分で作るにはどうすればいいのかを教えてもらいたいです。前画像データの中から８割を訓練データ、２割をテストデータにしたいです。今は番号順に並んでるのでランダムに８割選べると尚ありがたいです。

該当のソースコード

import numpy as np
import matplotlib.pyplot as plt

from tensorflow.python import keras
from tensorflow.python.keras import backend as K
from tensorflow.python.keras.models import Model, Sequential
from tensorflow.python.keras.layers import Conv2D, Dense, Input, MaxPooling2D, UpSampling2D, Lambda
from tensorflow.python.keras.preprocessing.image import load_img, img_to_array, array_to_img, ImageDataGenerator

ls drive/My\ Drive/poke64
(x_train, y_train),(x_test, y_test) =?????????????????????????

/////////CNNで扱いやすい形に変形
x_train = x_train.reshape(-1,28,28,1)
x_test = x_test.reshape(-1,28,28,1)

////////特徴量の正規化
x_train = x_train/255.
x_test = x_test/255.

/////////////マスキングノイズ
def make_masking_noise_data(data_x,percent=0.1):
size = data_x.shape
masking = np.random.binomial(n=1, p=percent,size=size)
return data_x*masking

x_train_masked = make_masking_noise_data(x_train)
x_test_masked = make_masking_noise_data(x_test)

/////////////ガウシアンノイズ
def make_gaussian_noise_data(data_x, scale=0.8):
gaussian_data_x = data_x + np.random.normal(loc=0, scale=scale, size=data_x.shape)
gaussian_data_x = np.clip(gaussian_data_x, 0, 1)
return gaussian_data_x

x_train_gauss = make_gaussian_noise_data(x_train)
x_test_gauss = make_gaussian_noise_data(x_test)

/////////ノイズをかけた画像の表示
from IPython.display import display_png

display_png(array_to_img(x_train[0]))
display_png(array_to_img(x_train_gauss[0]))
display_png(array_to_img(x_train_masked[0]))

試したこと

補足情報（FW/ツールのバージョンなど）

現在google colaboratoryを使用しています。最近勉強始めたばかりであまりよくわかってないのですが、よろしくお願いします

Comments

[tiitoi]

ポケモンの画像というのはあるディレクトリに全部入っているのでしょうか？
学習データとテストデータを分割する前に画像を読み込む必要がありますが、画像を読み込んで、配列に詰めていくところは自分でできそうでしょうか？

[launcha]

Google Driveの中にpoke64というフォルダがあってその中に全て入っています。

画像を読み込むところはできていますが、"配列に詰めていくところ"も教えてもらいたいです。お手数おかけしますがよろしくお願いします

Answer 1

前画像データの中から８割を訓練データ、２割をテストデータにしたいです。

train_test_split() をお使いください。

sklearn.model_selection.train_test_split — scikit-learn 0.21.2 documentation

使い方
scikit-learn - データセットを学習データとテストデータに分割する。

サンプルコード

from pathlib import Path

import cv2
import numpy as np
from sklearn.model_selection import train_test_split

# 画像があるディレクトリ
img_dirpath = Path(r"poke64")

# モデルの入力サイズ
size = (256, 256)  # この値は適宜変更してください

# データを作成する。
data = []
for path in img_dirpath.iterdir():
    if path.suffix not in [".jpg", ".jpeg", ".png", ".gif", ".bmp"]:
        continue  # 画像以外は無視する。
    
    # 画像を読み込む。
    img = cv2.imread(str(path))
    # 画像をリサイズする。
    img = cv2.resize(img, size)
    
    data.append(img)
    
data = np.array(data)

# 学習データとテストデータに分割する。
x_train, x_test = train_test_split(data, test_size=0.2)
print(x_train.shape, x_test.shape)

Comments

[launcha]

ありがとうございます！いろいろ試しながら頑張っていきます！