reshapeができない

Question

「Pythonではじめる機械学習」でNMF, PCA, KMeansでの画像の再構築を比較をしたかったのですが、
本のコードを見る前に自分で書いたコードがなぜ動かないのかわかりません。

from sklearn.decomposition import NMF, PCA
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_lfw_people
import mglearn
import matplotlib.pyplot as plt
import numpy as np
from sklearn.cluster import KMeans


people = fetch_lfw_people(min_faces_per_person=20, resize=0.7)

mask = np.zeros(people.target.shape, dtype=np.bool)

# targetで出現する人に偏りがあるので、1人あたり50枚までに制限
image_shape = people.images[0].shape

for target in np.unique(people.target):
    mask[np.where(people.target == target)[0][:50]] = 1

X_people = people.data[mask]
y_people = people.target[mask]
X_people = X_people / 255.


X_train, X_test, y_train, y_test = train_test_split(
    X_people, y_people, stratify=y_people, random_state=0)

#それぞれの次元削減モデルを作成
nmf = NMF(n_components=100, random_state=0)
nmf.fit(X_train)

pca = PCA(n_components=100, random_state=0)
pca.fit(X_train)

kmeans = KMeans(n_clusters=100, random_state=0)
kmeans.fit(X_train)

#再構築を行う
X_reconstracted_pca = pca.inverse_transform(pca.transform(X_test))
X_reconstracted_kmeans = kmeans.cluster_centers_[kmeans.predict(X_test)]
X_reconstracted_nmf = np.dot(nmf.transform(X_test), nmf.components_)

#グラフの生成
fig, axes = plt.subplots(3, 5, figsize=(8, 4), subplot_kw={
                         'xticks': (), 'yticks': ()})

#自分で書いたコード
re_datas = [X_reconstracted_kmeans, X_reconstracted_pca, X_reconstracted_nmf]

for i, (re_data, ax) in enumerate(zip(re_datas, axes.T)):
    ax[i].imshow(re_data[:, i].reshape(image_shape))
plt.show()

#本でのコード
for ax, re_kmeans, re_pca, re_nmf in zip(axes.T, X_reconstracted_kmeans, X_reconstracted_pca, X_reconstracted_nmf):
    ax[0].imshow(re_kmeans.reshape(image_shape))
    ax[1].imshow(re_pca.reshape(image_shape))
    ax[2].imshow(re_nmf.reshape(image_shape))
plt.show()

そもそも、X_reconstracted_kmeansやその他pca, nmfも
X_reconstracted_kmeans.reshape(image_shape)できません。
なぜ本のコードはできるのですか？違いはないと思ったのですが。このようなエラーが出ます。

ValueError: cannot reshape array of size 2793570 into shape (87,65)

Comments

[melian]

次元数が足りない様に見えるのですが、もしかして画像データが 494 個あるとか？

[jbpb0]

> #本でのコード

の「for ax, re_kmeans, re_pca, re_nmf in zip(...」のすぐ下に、
print(re_kmeans.shape)
print(re_pca.shape)
print(re_nmf.shape)
をインデントを付けて追加して実行したら、「(5655,)」と(何回も)表示されますよね

「image_shape」は「(87, 65)」で、「87*65 = 5655」と一致するので、上記forループ内の「reshape(image_shape)」はできます

> #自分で書いたコード

の「for i, (re_data, ax) in enumerate(...」のすぐ下に、
print(re_data[:, i].shape)
をインデントを付けて追加して実行したら、何て表示されるのかを確認してみてください
それが「87*65 = 5655」と一致しなければ、そこでの「reshape(image_shape)」はできません

上記の確認ができたら、同じ場所に
print(re_data.shape)
をインデントを付けて追加して実行して、その結果を確認して、どうしたらいいのかを考えてみてください

[jbpb0]

> なぜ本のコードはできるのですか？違いはないと思ったのですが。

以下は、この質問のエラーとは直接は関係無い話ですが

> #本でのコード

のforループでは、各回に
X_reconstracted_kmeans、X_reconstracted_pca、X_reconstracted_nmf
からそれぞれ1個のデータ(長さが5655)だけが
re_kmeans、re_pca、re_nmf
に入り、それがループ内で処理されます

> #自分で書いたコード

のforループでは、
1回目にX_reconstracted_kmeansが全部
2回目にX_reconstracted_pcaが全部
3回目にX_reconstracted_nmfが全部
がre_dataに入るので、その中から必要な個数のデータを取り出すという処理を追加しないと、質問者さんが意図してるような処理にはなりません

reshapeのエラーが出なくなるように直すだけではダメだということです

Answer 1

本でのコード

の

for ax, re_kmeans, re_pca, re_nmf in zip(axes.T, X_reconstracted_kmeans, X_reconstracted_pca, X_reconstracted_nmf):

のすぐ下に、

    print(re_kmeans.shape)
    print(re_pca.shape)
    print(re_nmf.shape)

を追加して実行したら、「(5655,)」と(何回も)表示されますよね

「image_shape」は「(87, 65)」で、「87*65 = 5655」と一致するので、上記forループ内の「reshape(image_shape)」はできます

　.

自分で書いたコード

の

for i, (re_data, ax) in enumerate(zip(re_datas, axes.T)):

のすぐ下に、

    print(re_data[:, i].shape)

を追加して実行したら、何て表示されるのかを確認してみてください
それが「87*65 = 5655」と一致しなければ、そこでの「reshape(image_shape)」はできません

Answer 2

どこかに-1を入れましょう。

>>> a = np.arange(2793570)
>>> b = a.reshape(87, 65)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: cannot reshape array of size 2793570 into shape (87,65)
>>> b = a.reshape(87, 65, -1)
>>> print(b.shape)
(87, 65, 494)
>>> b = a.reshape(87, -1, 65)
>>> print(b.shape)
(87, 494, 65)
>>> b = a.reshape(-1, 87, 65)
>>> print(b.shape)
(494, 87, 65)