PythonディープラーニングにおけるMNISTのデータ読み込みについて

Question

前提・実現したいこと

私は参考書「詳解　ディープラーニング, 巣籠 悠輔　著」を用いて学習している者です。今回実現したいことはPythonで深層学習の実装をtensorflowで行い、その際ニューラルネットワークのモデルの予測精度を比較する上で用いられるベンチマークテスト用のデータセットに、MNISTというものがありますが、そのデータを読み込んで実装していきたい。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "deep_tanh.py", line 13, in <module>
    mnist = datasets.fetch_mldata('MNIST original', data_home='.')
:
:
TimeoutError: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした 。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

該当のソースコード

import numpy as np
import tensorflow as tf
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.utils import shuffle

np.random.seed(0)
tf.set_random_seed(123)

'''
データの生成
'''
mnist = datasets.fetch_mldata('MNIST original', data_home='.')

n = len(mnist.data)
N = 10000  # MNISTの一部を使う
train_size = 0.8
indices = np.random.permutation(range(n))[:N]  # ランダムにN枚を選択

X = mnist.data[indices]
y = mnist.target[indices]
Y = np.eye(10)[y.astype(int)]  # 1-of-K 表現に変換

X_train, X_test, Y_train, Y_test =\
    train_test_split(X, Y, train_size=train_size)

'''
モデル設定
'''
n_in = len(X[0])  # 784
n_hidden = 200
n_out = len(Y[0])  # 10

x = tf.placeholder(tf.float32, shape=[None, n_in])
t = tf.placeholder(tf.float32, shape=[None, n_out])

# 入力層 - 隠れ層
W0 = tf.Variable(tf.truncated_normal([n_in, n_hidden], stddev=0.1))
b0 = tf.Variable(tf.zeros([n_hidden]))
h0 = tf.nn.tanh(tf.matmul(x, W0) + b0)

# 隠れ層 - 隠れ層
W1 = tf.Variable(tf.truncated_normal([n_hidden, n_hidden], stddev=0.1))
b1 = tf.Variable(tf.zeros([n_hidden]))
h1 = tf.nn.tanh(tf.matmul(h0, W1) + b1)

W2 = tf.Variable(tf.truncated_normal([n_hidden, n_hidden], stddev=0.1))
b2 = tf.Variable(tf.zeros([n_hidden]))
h2 = tf.nn.tanh(tf.matmul(h1, W2) + b2)

W3 = tf.Variable(tf.truncated_normal([n_hidden, n_hidden], stddev=0.1))
b3 = tf.Variable(tf.zeros([n_hidden]))
h3 = tf.nn.tanh(tf.matmul(h2, W3) + b3)

# 隠れ層 - 出力層
W4 = tf.Variable(tf.truncated_normal([n_hidden, n_out], stddev=0.1))
b4 = tf.Variable(tf.zeros([n_out]))
y = tf.nn.softmax(tf.matmul(h3, W4) + b4)

cross_entropy = tf.reduce_mean(-tf.reduce_sum(t * tf.log(y), axis=1))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(t, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

'''
モデル学習
'''
epochs = 100
batch_size = 200

init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

n_batches = (int)(N * train_size) // batch_size

for epoch in range(epochs):
    X_, Y_ = shuffle(X_train, Y_train)

    for i in range(n_batches):
        start = i * batch_size
        end = start + batch_size

        sess.run(train_step, feed_dict={
            x: X_[start:end],
            t: Y_[start:end]
        })

    # 訓練データに対する学習の進み具合を出力
    loss = cross_entropy.eval(session=sess, feed_dict={
        x: X_,
        t: Y_
    })
    acc = accuracy.eval(session=sess, feed_dict={
        x: X_,
        t: Y_
    })
    print('epoch:', epoch, ' loss:', loss, ' accuracy:', acc)

'''
予測精度の評価
'''
accuracy_rate = accuracy.eval(session=sess, feed_dict={
    x: X_test,
    t: Y_test
})
print('accuracy: ', accuracy_rate)

試したこと

ニューラルネットワークの実装自体は上手くできているはずだが、問題は"データの生成"部分に記述した
mnist = datasets.fetch_mldata('MNIST original', data_home='.')
にある。
ここでfetch_mldataはhttp://mldata.org/にホストされているデータをダウンロードしているが、このサイトが何かしらの原因でサーバーエラーを起こしているためデータの取得ができない。
しかし同じデータを持つファイルが別にあり(既にダウンロード済み)、それをmldataディレクトリに置くと実行できるそうだが、やり方がよく分からない。

補足情報（FW/ツールのバージョンなど）

参考書の詳細
https://www.amazon.co.jp/%E8%A9%B3%E8%A7%A3-%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0-TensorFlow%E3%83%BBKeras%E3%81%AB%E3%82%88%E3%82%8B%E6%99%82%E7%B3%BB%E5%88%97%E3%83%87%E3%83%BC%E3%82%BF%E5%87%A6%E7%90%86-%E5%B7%A3%E7%B1%A0-%E6%82%A0%E8%BC%94/dp/4839962510?pd_rd_w=1r1nz&pf_rd_p=2e4a0572-cc5f-46f1-8099-783c809a2f93&pf_rd_r=GTT4NN6EQE1XY5S8N8VV&pd_rd_r=1ae66035-8511-49e0-8543-2035ddfa5a31&pd_rd_wg=2gqhb&ref_=pd_gw_bmx

Answer 1

おそらく MNIST のダウンロード先がサーバーダウンしているのだと思うので、代わりに以下で取得してください。

from tensorflow.keras.datasets import mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()
print('x_train.shape: {}, y_train.shape: {}'.format(x_train.shape, y_train.shape))
print('x_test.shape: {}, y_test.shape: {}'.format(x_test.shape, y_test.shape))
# x_train.shape: (60000, 28, 28), y_train.shape: (60000,)
# x_test.shape: (10000, 28, 28), y_test.shape: (10000,)

Comments

[diddy]

回答ありがとうございますm(_ _)m

ご指摘された通り動かしてみましたが、今度はこのようなerror文が出てきました。現在対策中ですが、何かご存知であれば教えていただければ幸いですm(_ _)mm(_ _)m

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
11493376/11490434 [==============================] - 11s 1us/step
x_train.shape: (60000, 28, 28), y_train.shape: (60000,)
x_test.shape: (10000, 28, 28), y_test.shape: (10000,)
'''
エラー文
'''
Traceback (most recent call last):
File "deep_tanh.py", line 20, in <module>
n = len(mnist.data)
AttributeError: module 'tensorflow._api.v1.keras.datasets.mnist' has no attribute 'data'

[tiitoi]

datasets.fetch_mldata() を使った場合とデータの格納形式が少し違うので多少修正が必要ですが、自力でやるのは難しそうでしょうか？

[tiitoi]

動作するコードをこちらに置いておきました。
https://github.com/nobetan/dl_examples/blob/master/tensorflow/tensorflow-mnist-fully-connected-model.ipynb

[diddy]

動作するコードを載せてくださり非常に助かりましたm(_ _)m
自力で訂正するのは少々難しかったです。機械学習についてはまだまだ経験不足な面もあってこちらで質問させていただきました。
丁寧な解説ありがとうございすm(_ _)mm(_ _)m