load_mnistの使い方、意味

Question

前提・実現したいこと

pythonでニューラルネットワークの勉強がしたくて、勉強本を読んでいるのですが、
わからないことがあったので質問します。
MNISTという手書きの数字のがっぞうデータセットについてです。
MNISTデータを次のように簡単に読み込むことができると書いています。

この関数どういう意味でしょうか。

 load_mnist(flatten=True, normalize=False)

本によると、
〖load_mnistは、「（訓練画像、訓練ラベル）、（テスト画像、テストラベル）」という形式で、読み込んだMNISTデータを返します〗
と書いています。この説明を読んだうえで、つまりどういう関数なのかいまいちピントきません。
引数として、normalizeが正規化するかどうか、Flattenは１次元化するかどうかということはわかりました。
何冊か読み漁っているのですが、いつもここで詰まってしまいます。

例えば、

(x_train,t_train,(x_test,t_test)= load_mnist(flatten=True, normalize=False)

だとどういう意味になりますか。

Comments

[hoshi-takanori]

勉強本のタイトルもちゃんと書いて欲しいんですが、たぶん「ゼロから作る Deep Learning」ですよね？
https://github.com/oreilly-japan/deep-learning-from-scratch/blob/master/dataset/mnist.py#L90

[meg_]

> 引数として、normalizeが正規化するかどうか、Flattenは１次元化するかどうかということはわかりました。
では”詰まってしまい”の部分はどこでしょうか？
また、「(x_train,t_train,(x_test,t_test)= load_mnist(flatten=True, normalize=False)」はエラーになります。実際のコードをそのまま提示してください。

Answer 1

私は読んだことはないので、一般的方法で分かることだけ回答します。

>>> print(load_mnist.__doc__)
MNISTデータセットの読み込み

    Parameters
    ----------
    normalize : 画像のピクセル値を0.0~1.0に正規化する
    one_hot_label :
        one_hot_labelがTrueの場合、ラベルはone-hot配列として返す
        one-hot配列とは、たとえば[0,0,1,0,0,0,0,0,0,0]のような配列
    flatten : 画像を一次元配列に平にするかどうか

    Returns
    -------
    (訓練画像, 訓練ラベル), (テスト画像, テストラベル)

(x_train,t_train,(x_test,t_test)= load_mnist(flatten=True, normalize=False)

エラーになります。
（訓練画像、訓練ラベル）、（テスト画像、テストラベル）に合わせて括弧をつけましょう。

(x_train,t_train),(x_test,t_test)= load_mnist(flatten=True, normalize=False)

です。

normalizeが正規化するかどうかFlattenは１次元化するかどうか

分からないときはやってみましょう。

(x_train2,t_train2),(x_test2,t_test2)= load_mnist(flatten=True, normalize=True)

>>> (x_train,t_train),(x_test,t_test)= load_mnist(flatten=True, normalize=False)
>>> (x_train2,t_train2),(x_test2,t_test2)= load_mnist(flatten=True, normalize=True)
>>> x_train[1]
array([  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  51, 159, 253,
       159,  50,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  48, 238,
       252, 252, 252, 237,   0,   0,   0,   0,   0,   0,   0,   0,   0,
..........
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0], dtype=uint8)
>>> x_train2[1]
array([0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.2       , 0.62352943, 0.99215686,
       0.62352943, 0.19607843, 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.1882353 ,
       0.93333334, 0.9882353 , 0.9882353 , 0.9882353 , 0.92941177,
       0.        , 0.        , 0.        , 0.        , 0.        ,
..........
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        ], dtype=float32)

(x_train3,t_train3),(x_test3,t_test3)= load_mnist(flatten=False, normalize=False)

>>> (x_train3,t_train3),(x_test3,t_test3)= load_mnist(flatten=False, normalize=False)
>>> x_train.shape
(60000, 784)
>>> x_train3.shape
(60000, 1, 28, 28)

これで分かりますか。

Comments

[tomomonX]

ありがとうございます。
勉強段階なので読むのみで、PCを全然使ってなかったですが、ヒントいただいたおかげでこうかな？って仮説が立てれました。
x_train[1]は60000万枚のうちの一つを表していて、画素数784(28×28)分を一列に並べて、それぞれの画素一つずつに色の濃さを数値化したものを表記しているということですよね。