mnistデータで最適なkを探すプログラム

Question

###前提・実現したいこと
Digitsデータで最適なkを探すknnのプログラムを作ったのですが
mnistデータでも最適なkを探すknnのプログラムを教えてください。

###発生している問題・エラーメッセージ

・容量が大きくて実行できない。

・NameError Traceback (most recent call last)
<ipython-input-24-b95cedfc1745> in <module>()
28 print('k={0}: {1}'.format(k, ac_score))
29
---> 30 accuracy_scores.append(score)
31
32 # 各経過時間を表示

NameError: name 'score' is not defined

・Digitsデータではそのようなエラーはなかった

###Digitsデータで最適なkを探すknnのプログラム

from matplotlib import pyplot as plt
from sklearn import datasets
from sklearn.model_selection import LeaveOneOut
from sklearn.metrics import accuracy_score
from sklearn.neighbors import KNeighborsClassifier
import time

def main():
    dataset = datasets.load_digits()

    features = dataset.data
    targets = dataset.target

    K = 10
    ks = range(1, K + 1)

    accuracy_scores = []
    start = time.time()
    for k in ks:
        predicted_labels = []
        loo = LeaveOneOut()
        for train, test in loo.split(features):
            train_data = features[train]
            target_data = targets[train]
            
            elapsed_time = time.time() - start

            model = KNeighborsClassifier(n_neighbors=k)
            model.fit(train_data, target_data)
    
            predicted_label = model.predict(features[test])
            predicted_labels.append(predicted_label)
    
        score = accuracy_score(targets, predicted_labels)
        print('k={0}: {1}'.format(k, score))
        
        accuracy_scores.append(score)
        
        print("経過時間:{0}".format(elapsed_time))
        
    X = list(ks)
    plt.plot(X, accuracy_scores)

    plt.xlabel('k')
    plt.ylabel('accuracy rate')
    plt.show()
    

if __name__ == '__main__':
    main()

###mnistデータで最適なkを探すknnのプログラム　改善版

train_size = 500
test_size = 100
train_data, test_data, label_train, label_test = model_selection.train_test_split(mnist_data, mnist_label, test_size=test_size, train_size=train_size)

K = 10
ks = range(1, K + 1)


 # 使う近傍数ごとに正解率＆各経過時間を計算
accuracy_scores = []
start = time.time()
for k in ks:
    predicted_labels = []
    loo = LeaveOneOut()
    
    for train, test in loo.split(mnist.data):
        train_data = mnist.data[train]
        label_train = mnist.target[train]
            
        elapsed_time = time.time() - start
        
        # モデルを学習させる    
        model = KNeighborsClassifier(n_neighbors=k)
        model.fit(train_data, label_train)
        
        # 一つだけ取り除いたテストデータを識別
        predicted_label = model.predict(train_data[test])
        predicted_labels.append(predicted_label)
    
        # 正解率を計算
        ac_score = metrics.accuracy_score(label_test, pre)
        print('k={0}: {1}'.format(k, ac_score))
        
        accuracy_scores.append(score)
        
        # 各経過時間を表示
        print("経過時間:{0}".format(elapsed_time))
        
    # 使う近傍数ごとの正解率を折れ線グラフ
    X = list(ks)
    plt.plot(X, ac_score)

    plt.xlabel('k')
    plt.ylabel('accuracy rate')
    plt.show()  

###試したこと
mnistのデータ
mnist = datasets.fetch_mldata('MNIST original', data_home='data/src/download/')

###補足情報(言語/FW/ツール等のバージョンなど)
Anaconda3 python

Comments

[mkgrei]

具体的にどのようなエラーになりますか。

[退会済みユーザー]

学習用とテスト用に分類して
train_size = 500
test_size = 100
data_train, data_test, label_train, label_test = model_selection.train_test_split(mnist_data, mnist_label, test_size=test_size, train_size=train_size)

[退会済みユーザー]

K = 10
ks = range(1, K + 1)

clf = svm.SVC()
clf.fit(data_train, label_train)
pre = clf.predict(data_test)

# 使う近傍数ごとに正解率＆各経過時間を計算
accuracy_scores = []
start = time.time()
for k in ks:
predicted_labels = []
loo = LeaveOneOut()
for train, test in loo.split(mnist.data):
data_train = mnist.data[train]
data_test = mnist.target[train]

elapsed_time = time.time() - start

# モデルを学習させる
model = KNeighborsClassifier(n_neighbors=k)
model.fit(train_data, target_data)

# 一つだけ取り除いたテストデータを識別
predicted_label = model.predict(features[test])
predicted_labels.append(predicted_label)

# 正解率を計算
ac_score = metrics.accuracy_score(label_test, pre)
print('k={0}: {1}'.format(k, ac_score))

accuracy_scores.append(score)

# 各経過時間を表示
print("経過時間:{0}".format(elapsed_time))

# 使う近傍数ごとの正解率を折れ線グラフ
X = list(ks)
plt.plot(X, ac_score)

plt.xlabel('k')
plt.ylabel('accuracy rate')
plt.show()

[退会済みユーザー]

に記述したら　　　　　エラー　
ValueError: Found input variables with inconsistent numbers of samples: [69999, 500]

[mkgrei]

これは容量ではなくデータの数が一致していないせいではないでしょうか。

[退会済みユーザー]

どのように変更したらよいでしょうか

[退会済みユーザー]

見にくくてすいません。

[mkgrei]

ご自分で書かれているコードですか。ac_scoreに変数名が変更されています。

[退会済みユーザー]

書いているのですが、こんがらがっていました。

[mkgrei]

IDEなどを使うと明らかなミスを教えてくれるかもしれません。

[退会済みユーザー]

k=1: 0.72 経過時間:0.024016380310058594　 k=1: 0.72 経過時間:79.63809776306152・・・　とkが加算されないのはなぜですか

[mkgrei]

loo = LeaveOneOut()なので、データ数分だけ内ループが回ります。mnistなら6万とかでしょうか。

[退会済みユーザー]

これはｋの個数を指定することはできませんでしたか？

[退会済みユーザー]

また、高速に処理する方法はありますか

[mkgrei]

できていますが、kが1大きくなるのはだいぶ時間が経ってからということになります。1ループあたり0.024なら大体30分後ですね。

[mkgrei]

意図にもよりますが、単純にLeavePOutを使うと、P分の1だけ短縮できます。

[退会済みユーザー]

使い方教えてもらってもいいですか

[mkgrei]

http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.LeavePOut.htmlなどの公式ドキュメントにわかりやすい具体例があります。

[退会済みユーザー]

Found input variables with inconsistent numbers of samples: [100, 1]　　このような場合どうすればいいですか

[mkgrei]

入力のデータ数が一致していないらしいです。https://translate.google.co.jp/?client=safari&rls=en&dcr=0&um=1&ie=UTF-8&hl=ja&client=tw-ob#en/ja/Found%20input%20variables%20with%20inconsistent%20numbers%20of%20samples%3A

Answer 1

変数名に混乱があるようです。

#--------------------------------------------------------
        #data_train = mnist.data[train]
        #data_test = mnist.target[train]
        ↓
        train_data = mnist.data[train]
        target_data = mnist.target[train]
#--------------------------------------------------------

        elapsed_time = time.time() - start

        # モデルを学習させる    
        model = KNeighborsClassifier(n_neighbors=k)
        model.fit(train_data, target_data)

他の部分も違いがあるかもしれませんが、同様に修正できるはずです。

Comments

[退会済みユーザー]

ValueError: bad input shape (100, 784)

になってしまったのですがどれを変更したらいいですか

[mkgrei]

train_data, test_data_, label_train, label_test = model_selection.train_test_split(mnist_data, mnist_label, test_size=test_size, train_size=train_size)
との整合性を取ってください。
target_data -> label_train