機械学習用のデータセットについて

Question

お世話になります。
現在、機械学習に興味があり勉強中です。

昨今話題になっているディープラーニングを勉強したいと思い、
tensorflowのチュートリアルを試してみました。
tensorflowには予め、mnistやcifar-10などのデータセットが
組み込まれていますが、自分で用意したデータを試してみたいと考えております。

例えば、画像認識をしたい場合、mnistを参考にしますと
「訓練画像と訓練ラベル、テスト画像とテストラベル」が必要であると認識しているのですが、

「訓練画像と訓練ラベル」そして「テスト画像とテストラベル」をそれぞれ具体的にどうやって対応させるのか。
ということが理解できておりません。

何卒ご教示のほどお願い申し上げます。

※色々なサイトを見ていると、この作業を「ラベル付け」と表現されているようですが、具体的にどういう作業を行えば良いのかイメージできておりません。（ラベル付けされたものが何か特別なファイル形式にする必要がある？1フォルダに1画像を入れて、フォルダ名と画像名を対応させる？）

Answer 1

学習対象のデータ構造と保存ファイル（データセット）の構造の２つに分けて説明したいと思います。

学習対象のデータ構造とは、機械学習の処理対象のデータ構造です。
MNISTでは「サイズ28*28で白黒256階調」の画像です。
また、１つの画像と１つのラベル（その画像が何を表しているか）は１対１で対応します。
たとえば「１っぽい画像」のラベル値は1になります。
この「画像」と「ラベル値」の対応付けは、一般的には人間が行う必要があります。
この画像とラベルの組が複数まとまったものがデータセットになります。

また、ここでのデータ構造（画像形式）は、全データセットで共通である必要があります。
もし異なるサイズなどの画像を用いたい場合は、あらかじめ28*28のサイズなりに正規化しておく必要があります。

ちなみにTensorFlow : Get Started : ML 初心者向けの MNIST
では、縦横２次元画像を、28*28=784個の要素数の１次元データ（＝入力ノード）として扱っています。

次に保存ファイル（データセット）の構造とは、データセットをファイルなどの外部に保存するためのデータ構造です。
これは、データセットの提供者が自由に決めることができます。
たとえば、以下のようなテキストCSVファイルでもよいです。

# 画像データ＝28*28=784個の1byte16進値, ラベル10進値
00,01,0F,...,E0,1	# １画像＋ラベルデータ
00,05,08,...,F1,2
 :

また、MNINST,CIFAR-10の具体的なデータ（ファイル）構造については以下が参考になります。
MNINST :MNISTにおける入力データの詳細
CIFAR-10:TensorFlowでデータの読み込み ― 画像を分類するCIFAR-10の基礎

たとえばMNISTでは画像とラベルを別ファイルに持たせており、画像とラベルは順序位置で対応しています。

以上より、あなた専用のデータセットの読み書き処理を用意すれば、MNISTと同じように扱うことができることが理解いただけるかと思います。
どのようなコードを書けばよいかは、実際のコードtensorflow/tensorflow/contrib/learn/python/learn/datasets/mnist.pyなどが参考になります。

Comments

[tarou_yamada]

ご回答ありがとうございます。
お示し頂いた
tensorflow/tensorflow/contrib/learn/python/learn/datasets/mnist.py
については、まだ理解に至っておりませんが、
MNISTやCIFAR-10やCSVでのラベル付けは
なんとなくイメージが湧いてきました。

また、併せてお教えいただきたいのですが、
今、不良品フォルダと良品フォルダにそれぞれ分けられた
JPEG形式の画像ファイルがありまして、
これらの画像にそれぞれ、「不良品」と「良品」のラベル付けをし、
機械に学習してもらいたいのですが、こういう場合はどういった方法でラベル付けができるでしょうか？
その場合のコード例も、ご教示頂ければ幸いです。

何卒、よろしくお願い申し上げます。

[can110]

ラベル値は「不良品」＝０、「良品」＝１でよいと思います。
あとは各フォルダから画像を読込（＋必要に応じて画像サイズや色の正規化）、それぞれの画像にフォルダにしたがったラベル値(0 or 1)を対応付けすれよいです。
画像をnumpy配列に読込むコードは
[NumPyで画像処理](http://www.mwsoft.jp/programming/computer_vision_with_python/1_3_numpy.html)
などが参考になります。

[tarou_yamada]

ご回答ありがとうございます。

'''
あとは各フォルダから画像を読込（＋必要に応じて画像サイズや色の正規化）、それぞれの画像にフォルダにしたがったラベル値(0 or 1)を対応付けすれよいです。
'''

のところなのですが、「それぞれの画像にフォルダにしたがったラベル値(0 or 1)を対応付けすれよいです。」というのはpythonのプログラム上で対応付けすればよいということでしょうか？
またそうした場合、「どういうコードを書くことで、機械は画像とラベルが対応付けられていると判断できるのか」ということを疑問に感じました。
何卒、ご教示のほど、よろしくお願い申し上げます。

※Tensorflowではないですが、
例えばkerasの場合（https://keras.io/ja/models/sequential/）fitメソッドというものがあり、その引数に入力データとラベルを指定することができるのですが、それらに画像とラベルのデータを入力することで、プログラム上、画像とラベルが対応付けられたことになるという認識でいいものでしょうか？

[can110]

回答に提示した「Get Started」内のコードで説明すると
mnist.train.labels がラベルです。
また、実際には（fitに相当すると思います）以下で対応づけられています。
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
ここで、batch_xsが画像でbatch_ysがラベルです。
バッチなので100個のデータセットをnext_batch関数で一括取得して渡しているので分かりにくいですが。

[tarou_yamada]

おお！ありがとうございます！
この処理で対応付けられていたのですね！
いろいろなサイトや本を見ても理解できず
モヤモヤしていましたがすっきりしました！

他にもいろいろな知見を丁寧にご教示頂き助かりました。
またお世話になるかもわかりませんが、
その際は宜しくお願いします。