numpyのreshape関数について

Question

ニューラルネットワークを用いて画像認識のアルコリズムを実装しています。
「達人データサイエンティストによる理論と実践/python機械学習プログラミング」の第１２章のコードをそのまま写生しています。
MNISTデータをnumpyの配列に読み込むところでエラーが発生しました。

エラーメッセージ

ValueError                                Traceback (most recent call last)
<ipython-input-7-93436c289cee> in <module>()
     23     return images, labels
     24 
---> 25 X_train, y_train = load_mnist('mnist', kind='train')
     26 print('Rows: %d, columns: %d' % (X_train.shape[0], X_train.shape[1]))
     27 

<ipython-input-7-93436c289cee> in load_mnist(path, kind)
     20         #画像ピクセル情報の配列のサイズを変更
     21         #（行数:ラベルのサイズ、列数:特徴量の個数）
---> 22         images = np.fromfile(imgpath, dtype=np.uint8).reshape(len(labels), 784)
     23     return images, labels
     24 

ValueError: cannot reshape array of size 47040000 into shape (60008,784)

ソースコード

import os
import struct
import numpy as np

def load_mnist(path, kind='train'):
    """MNISTデータをpathからロード"""
    #引数から指定したパスを結合（ラベルや画像のパスを作成）
    labels_path = os.path.join(path, '%s-labels-idx1-ubyte' % kind)
    images_path = os.path.join(path, '%s-images-idx3-ubyte' % kind)
    
    #ファイルを読み込む
    #引数にファイル、モードを指定（rbは読み込みのバイナリモード）
    with open(labels_path, 'rb') as lbpath:
        # バイナリを文字列に変換:unpack関数の引数にフォーマット、８バイト分の
        #バイナリデータを措定して、マジックナンバー、アイテムの個数を読み込む
        labels = np.fromfile(lbpath,dtype=np.uint8)
        
    with open(images_path, 'rb') as imgpath:
        magic, num, rows, cols = struct.unpack(">IIII", imgpath.read(16))
        #画像ピクセル情報の配列のサイズを変更
        #（行数:ラベルのサイズ、列数:特徴量の個数）
        images = np.fromfile(imgpath, dtype=np.uint8).reshape(len(labels), 784)
    return images, labels

X_train, y_train = load_mnist('mnist', kind='train')
print('Rows: %d, columns: %d' % (X_train.shape[0], X_train.shape[1]))

X_test, y_test = load_mnist('mnist', kind='t10k')
print('Rows: %d, columns: %d' % (X_test.shape[0], X_test.shape[1]))

numpyのreshape関数の第２引数はintまたはintのタプルorリストを拾うことは知っています。
784は、MNISTデータセットの画像（２８＊２８ピクセル）を１次元の行ベクトルで表している際の行数を示すらしいです。

解決法をご教授いただけるとうれしいです。

Answer 1

動きましたか？

Python: Deeper Insights into Machine Learningの日本語版っぽいですね。

質問中には、

with open(labels_path, 'rb') as lbpath:
# バイナリを文字列に変換:unpack関数の引数にフォーマット、８バイト分の
#バイナリデータを措定して、マジックナンバー、アイテムの個数を読み込む
labels = np.fromfile(lbpath,dtype=np.uint8)

とありましたが、先の本では`with open(labels_path, 'rb') as lbpath:`の直後に

> `magic, n = struct.unpack('>II', lbpath.read(8))`

の一文があり、質問中ではこれに相当する一文が漏れているようでしたので…

Comments

[sandyur]

回答ありがとうございます！
はい、文章漏れに気づきましたので、訂正しました笑
こんなミスの回答に答えてくださってありがとうございます！

Answer 2

Pythonもニューラルネットワークも素人ですが単純にコードの内容とエラーメッセージからの推測です。

ValueError: cannot reshape array of size 47040000 into shape (60008,784)

60008 * 784 = 47046272 > 47040000

なので、reshapeしようとする画像データのピクセル数が不足しているのが直接原因と思います。

"mnist/train-labels-idx1-ubyte"　ラベルファイル
"mnist/train-images-idx3-ubyte"　画像ファイル

だと思いますが、ラベルファイルのバイト数がラベルの数になってますね。それはエラーメッセージから60008であったはずです。一方画像ファイルは16バイトのヘッダー情報＋画素データのような形式になっていて画素データは１ピクセル当たり１バイトで上の計算式のとおり47046272(=60008784)バイトが期待のはずですが、実際は47040000(=60000784)バイトしかなかった=>つまり画像(28x28ピクセル)が8ラベル分だけ不足しているということなのですが・・・

ラベル読み込みのコードをよく見ると「ファイルの先頭8バイトはマジックナンバーとアイテム個数」というコメントがあります。故にそのヘッダー8バイト分の情報を本来読み込むべきであり、それをしていないためにラベル数が本来より８大きくなってしまったのが原因ではないかと思いました。

変数名は適当ですが、以下のようにしておかなければならないのでは？

with open(labels_path, 'rb') as lbpath:
        # バイナリを文字列に変換:unpack関数の引数にフォーマット、８バイト分の
        #バイナリデータを措定して、マジックナンバー、アイテムの個数を読み込む
        label_magic, num_items = struct.unpack(">II", imgpath.read(8))
        labels = np.fromfile(lbpath,dtype=np.uint8)

Comments

[sandyur]

回答ありがとうございます！改善しましたら解決しました！
詳しく書いてくださりとてもわかり易かったです！