手書きデータセットのarrayデータのピクセル変更

Question

実現したいこと

scikit-learnに付属の手書き数字データセットの8x8ピクセルを大きいサイズ(ex.50x50ピクセルなど)に変更した上で、SVM学習モデルで実装したい。

試したこと

①下記コードのように、scikit-learn付属の8x8ピクセルの手書き数字データを用いて、SVMで学習モデルを作成した。

#必要ライブラリを読み込み
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets

#データセット読み込み
digits = datasets.load_digits()

#データを確認
digits.images.shape 
　#(1797, 8, 8)→1797行の各行に8x8ピクセルのデータがあるということ
digits.target.shape
　#(1797,)→1797行1列ということ。ラベルデータ。

#学習に必要なライブラリを読み込み
from sklearn.model_selection import train_test_split
from sklearn import datasets, svm, metrics
from sklearn.metrics import accuracy_score

#説明変数x、正解ラベルy
x = digits.images
y = digits.target

#次元削減
x = x.reshape((-1, 64))
x.shape
　#(1797, 64)→sklearnでは1次元しか受け付けないため、2次元に削減(2次元だが、なぜかsklearnで受け取ってもらえる。理由は不明)


x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2)

clf = svm.LinearSVC()
clf.fit(x_train, y_train)

y_pred = clf.predict(x_test)
print(accuracy_score(y_test, y_pred))
　#0.9527777777777777→正解率95%

その後、このモデルを使用して、ペイントで作成した自分のデータ(未知データ)で検証したところ、正解率が40%であった。95%のはずが40%になった推定要因として、自分で用意した未知データを学習モデルに適応する際に8x8ピクセルにしなければならないが、その時にデータが潰れたためと考えた（実際に8x8にした後は、arrayにすると模様が数字の形をしていなかったため）。そのため、scikit-learn付属の8x8ピクセルの手書きデータを8x8から50x50に変更しようとした。そうすれば、未知のデータも50x50で読ませることができるはずだからである。その考えを確かめるために下記を試した。

#再度x,yを読み込み
x = digits.images
y = digits.target

x.shape
　#(1797, 8, 8)
import cv2
type(x)
 #numpy.ndarray

#50x50ピクセルにしているつもり
x = cv2.resize(x, (50, 50))
x.shape
 #(50, 50, 8)

50x50ピクセルにするために
x = cv2.resize(x, (50, 50))をしたが、x.shapeで(50,50,8)が返ってきた。

質問

①ndarrayの状態でピクセルを変更(今回の場合8x8ピクセルから50x50ピクセルへ変更)する方法は、上記の　x = cv2.resize(x, (50, 50))とするのは問題があるか。ある場合、どうしてか。

②返ってきた(50, 50, 8)は、前述の(1797, 8, 8)と比べてイメージしづらい。
(1797, 8, 8)は1797行(データが1797個)あり、各行が8x8ピクセルである。
(50, 50, 8)はどう考えるのか。なぜ、(8, 50, 50)にならないのか。1797個のデータが8個に減ってしまったのか。そもそも50,50はこちらが指定したが、8はどこからきたのか。

ご教示頂けると幸いです。

Answer 1

変換は以下で可能です。

>>> x_50_50 = np.stack([cv2.resize(image, (50,50)) for image in digits.images])
>>> print(x_50_50.shape)
(1797, 50, 50)

• そうすれば、未知のデータも50x50で読ませることができるはずだからである。その考えを確かめるために下記を試した。

プログラムやアルゴリズムを学ぶためには、不可能に挑戦することも良い経験になります。がんばって、やってみてください。

Comments

[Poyoyo]

ありがとうございます。
実現したかったピクセル変更ができました。
今後も頑張ります。

Answer 2

参考
mnistデータのresizeについて

Comments

[Poyoyo]

ありがとうございます、参考にしました。