Python 2.7.12, mnistデータをk-nnで識別しエラー率を算出する方法

Question

下記URLのサイトにある4つのmnistデータをk-nnで識別しエラー率を算出したいと考えています。他の方の方法を参考にコードを書いてみたのですがエラーが出てしまいました。アドバイス頂けると幸いです。

http://yann.lecun.com/exdb/mnist/

以下mnistデータの読み込み及び識別プログラム

import struct
import numpy as np


class MNIST:
    def __init__(self, LT):

        if LT == 'L':
            self.fnLabel = 'train-labels.idx1-ubyte'
            self.fnImage = 'train-images.idx3-ubyte'
        else:
            self.fnLabel = 't10k-labels.idx1-ubyte'
            self.fnImage = 't10k-images.idx3-ubyte'

    def getLabel(self):

        return readLabel ( self.fnLabel )

    def getImage(self):
        return readImage(self.fnImage)


##### reading the label file
#
def readLabel(fnLabel):
    f = open ( fnLabel, 'r' )

    ### header (two 4B integers, magic number(2049) & number of items)
    #
    header = f.read ( 8 )
    mn, num = struct.unpack ( '>2i', header )  # MSB first (bigendian)
    assert mn == 2049
    # print mn, num

    ### labels (unsigned byte)
    #
    label = np.array ( struct.unpack ( '>%dB' % num, f.read ( ) ), dtype=int )

    f.close ( )

    return label


##### reading the image file
#
def readImage(fnImage):
    f = open ( fnImage, 'r' )

    ### header (four 4B integers, magic number(2051), #images, #rows, and #cols
    #
    header = f.read ( 16 )
    mn, num, nrow, ncol = struct.unpack ( '>4i', header )  # MSB first (bigendian)
    assert mn == 2051
    # print mn, num, nrow, ncol

    ### pixels (unsigned byte)
    #
    pixel = np.empty ( (num, nrow, ncol) )
    npixel = nrow * ncol
    for i in range ( num ):
        buf=struct.unpack('>%dB'%npixel,f.read(npixel))
        pixel[ i, :, : ] = np.asarray ( buf ).reshape ( (nrow, ncol) )

    f.close ( )

    return pixel


if __name__ == '__main__':
    print '# MNIST training data'
    mnist = MNIST ( 'L' )
    lab = mnist.getLabel ( )
    dat = mnist.getImage ( )
    print lab.shape, dat.shape

    print '# MNIST test data'
    mnist = MNIST ( 'T' )
    lab = mnist.getLabel ( )
    dat = mnist.getImage ( )
    print lab.shape, dat.shape

以下エラー率の算出

import numpy as np
import mnist1 as mnist

##### training data
#
mn = mnist.MNIST('L')
labL = mn.getLabel()
nL = labL.shape[0]
xL = mn.getImage().reshape((nL, -1))
print '# xL: ', xL.shape

##### test data
#
mn = mnist.MNIST('T')
labT = mn.getLabel()
nT = labT.shape[0]
xT = mn.getImage().reshape((nT, -1))
print '# xT: ', xT.shape

##### nearest neighbor classification
#
xLsq = np.sum(xL ** 2, axis=1)
out = np.empty(nT, dtype=int)
for i in range(nT):
    if i % 1000 == 0:
        print i
    d = -2 * np.dot(xL, xT[i, :]) + xLsq
    out[i] = labL[np.argmin(d)]

er = np.sum(out != labT) / float(nT)

print '# test error rate = ', er * 100, '%'

下記プログラムのエラー

Traceback (most recent call last):
File "C:/.../mnisterror.py", line 9, in <module>
xL = mn.getImage().reshape((nL, -1))
File "C:...\mnist1.py", line 20, in getImage
return readImage(self.fnImage)
File "C:...\mnist1.py", line 61, in readImage
buf=struct.unpack('>%dB'%npixel,f.read(npixel))
struct.error: unpack requires a string argument of length 784

Answer 1

unpack requires a string argument of length 784

エラーメッセージは、unpack するデータの長さが足りていないようです。

原因は恐らくファイルの open の mode
ファイルの open の第二引数を 'rb' として、バイナリーモードで開いてみてください。
デフォルトだとテキストモードで読み込まれ、windows では改行コードが変換されてしまいます。

struct.unpack('>%dB'%npixel, f.read(npixel))

ここで unpackのサイズを動的に指定していますが、ファイルがテキストモードで開かれている場合
len(f.read(npixel)) == npixel が真となるとは限りません。
struct.unpack が要求するデータ長を f.read が返さなかった時、上記のエラーとなります。

また、該当箇所のコードでは、unpackでPythonの数値のリストを一時的に生成し
numpy の配列を再構築といったことをしていますが、numpy で直接読み込むほうが効率良いので
より規模の大きなデータを扱う場合や、速度を求められる場合等は、
np.fromfile や np.memmap の利用を検討してみてください。

参考までに, np.memmap を使う場合

pixel = np.memmap(filename, ">B", mode="r", offset=16, shape=(num, nrow, ncol))

Comments

[3naoki]

ご丁寧にご回答頂きありがとうございます。
ご指摘頂いた通り、ファイルの open の mode に問題がありrbにすることで解決しました。
ただ計算に若干時間かかるのでnp.memmap を試してみたのですがエラー率がおかしな値になってしまいました。
恐らく自分の理解が足りておらず直し方が違ったのだと思いますが、何かアドバス頂けると幸いです
下記修正箇所です

#pixel = np.empty ( (num, nrow, ncol) )
#npixel = nrow * ncol
#for i in range ( num ):
#buf=struct.unpack('>%dB'%npixel,f.read(npixel))
#pixel[ i, :, : ] = np.asarray ( buf ).reshape ( (nrow, ncol) )
#f.close ( )

をご教授頂いたものに変更しました
pixel = np.memmap(f, ">B", mode="r", offset=16, shape=(num, nrow, ncol))

[teamikl]

すいません、勝手に持ってきた変数の説明が不足してました。ファイル名の文字列を意図してましたが、
変数 f からヘッダを読み込んだ後に続けて読むなら offset指定(ヘッダの16バイト読み飛ばし)は不要になります

[teamikl]

補足です。エラー箇所しか見ていなかったので、前後の処理まで考慮してませんでした。

f は close されるので、memmap側にファイルのopenを任せたほうがいいかもしれません。
np(f.name, dtype="uint8", offset=16, shape=(num, nrow, ncol))

もう一点懸念があるとすれば、データ型の違いで
元のコードは uint8 で読み込んだものを dtype=float の配列に代入してます。
.astype(float) で型変換出来ます。

ちなみに、byteorder ですが、私も ">B" と書いてしまいましたが、
byte型の場合は読み込み順序には影響しません。