python：mnistデータとDigitsデータ

Question

#現したいこと
digitsデータでk近傍法　～マンハッタン距離～を行って使う近傍数ごとの正解率を折れ線グラフを作成したところ以下のようなジグザグな図形になりました。
mnistデータでk近傍法　～マンハッタン距離～を行って使う近傍数ごとの正解率を折れ線グラフを作成したところ以下のような図形になりました。
似たようなデータなのになぜここまでグラフが変わるのか教えてください。

#プレビュー Digits
![

#プレビュー mnist

###Digitsのソースコード

def main():
    # データをロード
    dataset = datasets.load_digits()

    # 特徴データとラベルデータを取り出す
    features = dataset.data
    targets = dataset.target

    # 検証する近傍数
    K = 10
    ks = range(1, K + 1)

    # 使う近傍数ごとに正解率＆各経過時間を計算
    accuracy_scores = []
    start = time.time()
    for k in ks:
        predicted_labels = []
        loo = LeaveOneOut()
        for train, test in loo.split(features):
            train_data = features[train]
            test_data = targets[train]
            
            elapsed_time = time.time() - start

            # モデルを学習   
            model = KNeighborsClassifier(n_neighbors=k, metric='manhattan')
            model.fit(train_data, test_data)
    
            # 一つだけ取り除いたテストデータを識別
            predicted_label = model.predict(features[test])
            predicted_labels.append(predicted_label)
    
        # 正解率を計算
        score = accuracy_score(targets, predicted_labels)
        print('k={}: {}'.format(k, score))
        
        accuracy_scores.append(score)
        
        # 各経過時間を表示
        print("経過時間:{:.2f}".format(elapsed_time))
        
    # 使う近傍数ごとの正解率を折れ線グラフ
    X = list(ks)
    plt.plot(X, accuracy_scores)

    plt.xlabel('k')
    plt.ylabel('正解率')
    plt.show()
    

if __name__ == '__main__':
    main()

###mnistのソースコード

def main():
    
    # 特徴データとラベルデータを取り出す
    features = mnist.data
    targets = mnist.target
    
    #データを分割
    train_dataX, test_dataX, train_dataY, test_dataY = model_selection.train_test_split(features,targets,test_size=0.3)


    # 検証する近傍数
    K = 10
    ks = range(1, K + 1)

    # 使う近傍数ごとに正解率＆各経過時間を計算
    accuracy_scores = []
    start = time.time()
    for k in ks:
        predicted_labels = []
        elapsed_time = time.time() - start
    
        # モデルを学習 
        model = KNeighborsClassifier(n_neighbors=k, metric='manhattan')
        model.fit(train_dataX,train_dataY)

        # 一つだけ取り除いたテストデータを識別
        predicted_label = model.predict(test_dataX)

        # 正解率を計算
        score = accuracy_score(test_dataY, predicted_label)
        print('k={}: {}'.format(k, score))

        accuracy_scores.append(score)
    
        # 各経過時間を表示
        print("経過時間:{:.2f}".format(elapsed_time))

    # 使う近傍数ごとの正解率を折れ線グラフ
    X = list(ks)
    plt.plot(X, accuracy_scores)

    plt.xlabel('k')
    plt.ylabel('正解率')
    plt.show()


if __name__ == '__main__':
    main()

Answer 1

まず、グラフのスケールが直感的ではありません。
せめて0.9から1.0に揃えるべきでしょう。
0.から1.に揃えればともに1近いです。

---

他に、
digitsは2000未満個のサンプルです。
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_digits.html

対してMNISTは60000個のサンプルがあります。

一般的にデータがたくさんある方がロバストな結果が得られます。

一度限りのモデルではサンプル数の少ないほうが分散が大きくなります。
よかったり、悪かったり…
特定の一回を取り出しても乱数次第でコロコロ変わります。

クロスバリデーションを行い統計的収束をせめて得てみないとなんとも評価できません。
http://aiweeklynews.com/archives/50219779.html
https://mathwords.net/kousakakunin

---

後は純粋にMNISTのほうが意地悪なサンプルが割合多く含まれている可能性もありますが、上記の可能性を排除できないにはこのような結論を下すのは時期尚早でしょうね。

---

追記:
気になったので試してみました。
MNISTのほうがずっと難しいですね。
digitsは8x8に対して、MNISTは28x28ですので、自由度がずっと高いですね。
例えば、MNISTから2000だけ取り出して8x8にリサイズしてやると、正答率は
digits:~98%、MNIST:~92%になります。

from sklearn.model_selection import StratifiedKFold
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

from sklearn import datasets
from keras.datasets import mnist

from scipy.misc import imresize

import numpy as np

try:
    from tqdm import tqdm
except (ImportError) as e:
    tqdm = lambda x:x

def main(key='digits', random_state=2017):
    if key == 'digits':
        dataset = datasets.load_digits()
        X = dataset.data
        Y = dataset.target
    elif key == 'mnist':
        (X_train, y_train), (X_test, y_test) = mnist.load_data()
        kfold = StratifiedKFold(5, shuffle=True, random_state=0)
        tr, ts = next(kfold.split(X_test, y_test))
        X = X_test[ts]
        X = np.array([imresize(x, (8, 8)) for x in X])
        X = X.reshape(-1, np.prod(X.shape[1:]))
        Y = y_test[ts]
        Y = Y.reshape(-1)
    else:
        return [], []
    
    ks = np.linspace(1, 10, 5).astype('i')
    
    accuracy_scores = []
    for k in tqdm(ks):
        pY = np.zeros(Y.shape)
        kfold = StratifiedKFold(5, shuffle=True, random_state=random_state)
        for tr, ts in kfold.split(X, Y):
            x_tr = X[tr]
            y_tr = Y[tr]

            model = KNeighborsClassifier(n_neighbors=k, metric='manhattan')
            model.fit(x_tr, y_tr)

            py = model.predict(X[ts])
            pY[ts] = py

        score = accuracy_score(Y, pY)
        accuracy_scores.append(score)
    return ks, accuracy_scores

if __name__ == '__main__':
    colors = ['red', 'blue']
    for ic, key in enumerate(['digits', 'mnist']):
        for i in np.linspace(1, 1000, 10).astype('i'):
            ks, accuracy_scores = main(key=key, random_state=2017+i)
            plt.plot(ks, accuracy_scores, marker='.', color=colors[ic])
    
    plt.xlabel('k')
    plt.ylabel('Accuracy')
    plt.grid()
    plt.xlim((0, np.max(ks)))
    plt.ylim((0.8, 1.0))
    plt.show()

Comments

[退会済みユーザー]

回答ありがとうございます。
それぞれの「使う近傍数ごとの正解率を折れ線グラフ」の結果は間違えているわけではないということになりますか？

[mkgrei]

そうですね。
結論としては、結果は正しいです。

同じく数字の分類ですが、MNISTのほうが問題として難しいです。

[退会済みユーザー]

そうですよね。ありがとうございました。