MNISTデータをreshapeできない

Question

###前提・実現したいこと
tensorflowでDCGANを使って画像生成するサンプルを自分のPCで動かそうとしています
win10,anaconda(python3.5)で作業しています

###発生している問題・エラーメッセージ

読み込まれたMNISTデータを整形しようとすると形が合わないと怒られます

ValueError: cannot reshape array of size 9912406 into shape (60000,28,28,1)

###該当のソースコード
ここを参考にして
https://qiita.com/shu223/items/b6d8dc1fccb7c0f68b6b

下のコードをクローンしてそのままつかってます
https://github.com/carpedm20/DCGAN-tensorflow

download.pyでMNISTをダウンロードしたのち
main.pyで画像生成するのですがそこでエラーが出ます

・・・
    def load_mnist(self):
        data_dir = os.path.join("./data", self.dataset_name)

        fd = open(os.path.join(data_dir, 'train-images-idx3-ubyte'))
        loaded = np.fromfile(file=fd, dtype=np.uint8)
        trX = loaded[16:].reshape((60000, 28, 28, 1)).astype(np.float)
・・・

28*28pxの画像が60000例なら47040000個要素があるのだろうと思ったのですがどう見ても数が合いません

ValueError: cannot reshape array of size 9912406 into shape (60000,28,28,1)

#追記（2017/11/29）
エラーを起こしたtrain-images-idx3-ubyte.gzのバイト数を調べたところ
9,912,422 バイトでした。

Comments

[can110]

「./data/train-images-idx3-ubyte」の実ファイルサイズを確認し追記ください（正しく47,040,016 バイトか？）

[gus_ghost]

エクスプローラで確認したところ9,912,422バイトでした。全く足りてないですね…

[can110]

あ、9,912,422バイトは解凍前のサイズです→http://yann.lecun.com/exdb/mnist/

[gus_ghost]

ということは解凍前のファイルを読み込ませようとしてたわけですね…謎が解けました

Answer 1

train-images-idx3-ubyte.gzのサイズが9,912,422バイトなので、解凍前のファイルを読み込んでいると思われます。
解凍してtrain-images-idx3-ubyteファイルを置き換えると正常動作すると思います。

参考：MNIST 手書き数字データを画像ファイルに変換する

また、mkgreiさんも指摘されていますがfd = open(～, 'rb')とrb=バイナリモードで開かないと正常に読み込めないかもしれません（未検証）。

PermissionErrorについて追記

おそらくファイルではなくディレクトリを開こうとしています。
次のようなディレクトリ構成になっていないでしょうか？

./data +
       |
       + mnist + 
               |
               + train-images-idx3-ubyte + ←ディレクトリ！
                                         |
                                         + train-images-idx3-ubyte 解凍されたファイル

検証コード

import os
data_dir = os.path.join("./data", 'mnist')
file_path = os.path.join(data_dir, 'train-images-idx3-ubyte')
print(file_path)
fd = open(file_path)
fd.close()

実行結果

./data\mnist\train-images-idx3-ubyte
Traceback (most recent call last):
  File "～\temp.py", line 7, in <module>
    fd = open(file_path)
PermissionError: [Errno 13] Permission denied: './data\mnist\train-images-idx3-ubyte'

Comments

[mkgrei]

たしかにそうですね。
download.pyで解凍しているはずなのに不思議な挙動です。

[can110]

download_mnist()ソース見ましたが「gzip -d ～」してますね。
windows環境は普通はgzipないので解凍失敗していたんじゃないかと。

[gus_ghost]

はい、.gzが圧縮ファイルだとは気づかず一生懸命読み込ませようとしてました。しょぼいところで躓いててちょっと恥ずかしいです

[mkgrei]

なぜかwindows環境の行を読んだはずなのに、記憶から消えていました…

[can110]

まあ、download.pyのソースではわざわざ外部ツールを使っていますが
pythonのgzipモジュール使うほうが移植性に優れ確実ですね。

[gus_ghost]

.gzファイルを手で解凍してもう一度やってみたら今度はpermission errorだと言われてしまいました。
管理者アカウントで実行してるはずなのですが…

[mkgrei]

おっしゃる通りですね。
不要な表示はいいのですが、せめてエラーは出力してほしいですね。

しかもdownload.pyではgzipをインポートするところまでやっているのに、なぜか使用していないですね。

ついでにですが、機械学習に典型的なデータセットをダウンロードする際に多くのエラーが見受けられています。
https://qiita.com/ToshikiShimizu/items/6bfacef12dafd63b1080
http://tekenuko.hatenablog.com/entry/2017/07/05/212205
CSVファイルなどが王道ですが、慣れないうちはダウンロードや読み込みに失敗しない方法のほうがおすすめです。

[can110]

誰かが解凍したファイルを開いていませんか？よくわからない場合はOS再起動するのが確実です。

[mkgrei]

そう言えばですが、
fd = open(os.path.join(data_dir, 'train-images-idx3-ubyte'))
と.gzがないファイルを開こうとしているのに、拡張子を勝手に補完するような機能があるのですか。

[can110]

多分openで拡張子補完などはされないと思います。勝手にされても困りますし。

[gus_ghost]

各訓練データやらをmnistディレクトリに移動して不要なディレクトリを削除、データファイルの名前がおかしくなってたのでリネームしてエクスプローラを全部閉じたところちゃんと実行できました！
本当にありがとうございます

Answer 2

何個データあるかわからない時はreshape(-1,28,28,1)でなんとかなりますが、今回はそもそも割り切れてませんね。
なぜでしょう。

openするときにバイナリで開いてもいけませんか？
open(filename, 'rb')