shuffle関数の必要性

Question

shuffle関数の必要性がわからないです。
今mnistを読み込ませて訓練データとテストデータに分ける部分のコードを書いています。
その中でshuffle関数なるものが出てきました。

mnist_X,mnist_y = shuffle(mnist.data,mnist.target,random_state= 42)

このshuffle関数は何のために使われているのでしょうか？
調べると、行と列をシャッフルさせる働きがあるそうなのですが、それがmnistのデータの読み込みにどう関係しているのでしょうか？

ちなみに全体は以下のコードのようです。

mnist = fetch_mldata('MNIST original')
    mnist_X,mnist_y = shuffle(mnist.data,mnist.target,random_state= 42)
    mnist_X = mnist_X/255.0
    train_X,test_X,train_y,test_y =  train_test_split(mnist_X,mnist_y,test_size=0.2,random_state=42)
    train_X,valid_X,train_y,valid_y = train_test_split(train_X,train_y,test_size=0.2,random_state=42)

Answer 1

学習させるためのデータを毎回同じ順番で渡してしまうと、学習結果が偏ってしまい、うまくありません。
それを避けるためにデータをランダムに並び変えてるのではないかと。

※ランダムステートが 42 なのが実に欧米的（ｗ

Comments

[can110]

the Answer to the Ultimate Question of Life, The Universe, and Everythingですねw
昔DVDで観た記憶が。