Q&A
URLの https://teratail.com/help#about-markdown の [リンク] の設定が間違っています。修正してください。
前提・実現したいこと
<Python3.5 / Windows10>
CNNに用いるデータセットを自身で作成しようと考えています。
最終的には、
A×AのRGBを持つカラートレーニング画像(x_train)がn個あるとき
x_train.sahpe
(n, A, A, 3)
ラベルの数がm種類の時、
y_train
([0, 1, 2, ... , m, ..., ])
y_train.shape
(n,)
というようにラベルデータとサンプルデータが別に扱えるような形状に仕上げたいと考えております。
(cifar10やMNISTのようなデータセットを作れると理想)
データセットを作るプロトコルを考えましたが、このアプローチが現実的かどうか分かりません。
また、このアプローチを実際にコードに起こす段階でも行き詰っております。
ウェブ上で参照できる実装例にはウェブスクレイピングなどを用いたり、顔認識などによる自動切り取りを組み込んでいるものが多いですが、あくまでファイル上に保存された画像データをもとにした基本的な方法を知りたいです。
コードベースで教えていただけたら幸いです。
試したこと
データセットを作るプロトコルを考えました。
①画像をnumpyを用いてnumpy配列として読み込む。
(多量の画像を読み込む方法が不明)
↓
②ラベル付けを行う
(下記のサイトを参考にするも実装に失敗。)
↓
テストデータとトレーニングデータに分ける
(下記のサイトを参考にするも実装に失敗)
↓
(x_train, y_train), (x_test, y_test)の形状に仕上げる
しかし、まずこのアプローチの仕方が正しいのかすら分かりません。
こちらのサイトhttps://qiita.com/tigerz17/items/e4d1d5b8e00f7a771177
では、あらかじめフォルダを作成してそれをラベルとして使用しているのでしょうか
回答1件
0
ベストアンサー
使用する Deep Learning のライブラリが要求する配列が最終的に作れればいいのですから、どのような形式でデータを保存しているかは重要ではありません。
質問者さんの好みの形式で保存しておけばよいです。
ライブラリが要求する配列はライブラリによって異なりますが、例えば Tensorflow/Keras の場合は
画像は (サンプル数, 高さ, 幅, チャンネル数) の numpy 配列
ラベルは (サンプル数,) の numpy 配列
①画像をnumpyを用いてnumpy配列として読み込む。
(多量の画像を読み込む方法が不明)
OpenCV の cv2.imread() か PIL の PIL.Image.open() を使う。
ファイルパスのリストアップは glob
②ラベル付けを行う
(下記のサイトを参考にするも実装に失敗。)
クラス分類であれば、フォルダごとに分けておくだけでもよい。
分ける作業 (ラベル付け) は基本手動でやる
テストデータとトレーニングデータに分ける
(下記のサイトを参考にするも実装に失敗)
(x_train, y_train), (x_test, y_test)の形状に仕上げる
フォルダ分けした段階で分けておいてもいいし、読み込んだあとに train_test_split() などで分けてもよい。
sklearn.model_selection.train_test_split — scikit-learn 0.20.3 documentation
投稿2019/04/06 12:06
総合スコア21956
回答ありがとうございます。
この方針で一度チャレンジしようと思います。
しかし、やはり悩ましい部分があります。例えばcv2を用いて
cat_im = cv2.imread("C:...path...\cat\cat1.jpg")
によって猫の画像cat1.jpgが配列で呼び出せることは分かりました。
しかし、catフォルダ内にあるすべての猫画像はまとめて呼び出すことはできないのでしょうか？
指定したフォルダ内の画像の一覧は glob で取得できます。
なので、for で glob で取得したパス一覧に対して、cv2.imread() を呼び出してリストに詰めていけばよいと思います。
無事にラベル付けまで行うことができました。
ありがとうございました。
あなたの回答
tips
プレビュー
