chainerサンプルコードtrain_mnist.pyのエラー

Question

###前提・実現したいこと
githubから以下の公式chainerファイルをクローンし
サンプルコードtest_mnist.py を実行したらエラーが返ってきました
どなたか解決方法を教えてください

https://github.com/chainer/chainer

###発生している問題・エラーメッセージ

Traceback (most recent call last):
 File "/Users/appleiii/Programming/python3/chainer-master/examples/mnist/train_mnist.py", line 128, in <module>
    main()
  File "/Users/appleiii/Programming/python3/chainer-master/examples/mnist/train_mnist.py", line 71, in main
    train, test = chainer.datasets.get_mnist()
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/datasets/mnist.py", line 50, in get_mnist
    train_raw = _retrieve_mnist_training()
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/datasets/mnist.py", line 84, in _retrieve_mnist_training
    return _retrieve_mnist('train.npz', urls)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/datasets/mnist.py", line 97, in _retrieve_mnist
    path, lambda path: _make_npz(path, urls), numpy.load)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/dataset/download.py", line 157, in cache_or_load_file
    content = creator(temp_path)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/datasets/mnist.py", line 97, in <lambda>
    path, lambda path: _make_npz(path, urls), numpy.load)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/chainer/datasets/mnist.py", line 106, in _make_npz
    fx.read(4)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/gzip.py", line 276, in read
    return self._buffer.read(size)
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/_compression.py", line 68, in readinto
    data = self.read(len(byte_view))
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/gzip.py", line 463, in read
    if not self._read_gzip_header():
  File "/Users/appleiii/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/gzip.py", line 411, in _read_gzip_header
    raise OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'<!')

###該当のソースコード

https://github.com/chainer/chainer/blob/master/examples/mnist/train_mnist.py

###試したこと
課題に対してアプローチしたことを記載してください

###補足情報(言語/FW/ツール等のバージョンなど)
Python 3.6.1
anaconda3-4.4.0
mac os 10.13.1

Answer 1

例えばダウンロードするだけの以下のようなコードを実行すると、

import chainer
train, test = chainer.datasets.get_mnist()

以下のようなダウンロード情報が順次表示されてダウンロードが完了します。
エラーはその後に出ていますか？

Downloading from http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz...

---

データのダウンロードに失敗したようですね。
Chainerではありませんが、
https://github.com/tensorflow/tensorflow/issues/170
同様なエラーを得ているケースがあるようです。
直接データをダウンロードするか、ダウンロードに失敗したファイルを削除して再度実行してみるとよいと思われます。

Comments

[Shinnosuke0522]

一旦元のデータを削除して
直接ターミナルからクローンしてから
実行して見ましたが同じエラーが出てしまいました
なのでデータのダウンロード失敗ではないようです

[mkgrei]

ターミナル上から直接データをダウンロードして、ターミナル上で解凍することはできていますか？

[Shinnosuke0522]

ほぼ同様にTracebackが表示され
その後OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'<!')
が返ってきます

[Shinnosuke0522]

解凍作業を必要としない
git clone hoge
を実行したので、zipファイルについては問題がないはずなのですが

[mkgrei]

これらのMNISTのファイルはChainerのものではないのでGithubからは直接取ってこれず、初めてデータを使う時にダウンロードしてくるものだと認識しています。

Tracebackの前に
Downloading from http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz...
などのようにダウンロードしてきている雰囲気はありますか？

Pythonの方でうまくダウンロードできない場合、手動でデータを取ってきてから特定のフォルダ下に配置することによってChainer側がそれを認識し使おうとしてくれるはずです。
https://perrohunter.com/fix-ioerror-not-a-gzipped-file-in-tensorflow-docker-example/

[Shinnosuke0522]

そのような雰囲気はないです
おそらくデータを自動的にDLするメソッド自体が機能していないみたいです
このchainer.datasets.get_mnist()を使えるようにするにはどうするのが良いでしょうか

[mkgrei]

http://aidiary.hatenablog.com/entry/20161109/1478696865
全く同じフォーマットとは保証できませんが、kerasでもmnistデータを取ってこれます。
上記のURLのはじめの方に例があります。
それでもうまく行かないのであれば、ネットワークの問題な気がするのですが、はっきりは分からないですね。

wgetやcurlは問題なく使えますか？

[Shinnosuke0522]

curlはつかえました