カラー画像にPCAの用いる方法について

Question

PCAで次元削減を行いたいのですが、どの事例を見てもmnistのようなモノクロ画像の例しかでてきませゆ。カラー画像のような(h,w,3)の画像をPCAに適用するにはどんな形にreshapeすれば良いのでしょうか？

import cv2
import scipy.misc
import os
import sys
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA


a_path='/Users/adidas'
ad = [cv2.imread(a_path+'/'+i) for i in os.listdir(a_path)]

ad_img=[cv2.resize(i,(150,150)) for i in ad if i is not None]
# 次元削減ようにreshape
ad=np.reshape(van_img, (12129,3,150*150))

# 次元削減実行
pca = PCA(n_components=50,svd_solver='full')
pca.fit(ad[1])
x = pca.fit_transform(img)
print(x.shape) 

>>>(3, 3)



pca.fit(ad[1])
>>>PCA(copy=True, iterated_power='auto', n_components=50, random_state=None,
  svd_solver='full', tol=0.0, whiten=False)

Answer 1

たとえば、MNISTで主成分分析をやるのなら 28 x 28ピクセルの画像を28*28=784次元のベクトルにして入力しているのだと思います。このベクトルを複数枚ある画像分だけ作って、PCAの入力にするというお話ですよね。

カラーでもまったく同じ考え方をすることができて、hw3次元のベクトルが作れます。というか、それ以外やりようがありません。

Comments

[trafalbad]

よく計算量を減らすためにPCAを用いるのは聞いてるのですが、削減後は何を画像として使いますか？tranceformで削減したものを使うとしてもこれは可視化できないので、PCA実行は何を使えばいいのでしょうか？

[hayataka2049]

PCAをかけた時点でデータはベクトルになっているので、素直に画像として扱うことは難しいかと・・・機械学習などの入力にする場合、計算処理はベクトルのまま取り扱うのではないでしょうか
ベクトルを逆変換すれば情報の落ちた画像になります。sklearnならinverse_transformというメソッドがありますね
あるいは、主成分に対応する固有ベクトルを見るということをやっている記事も見かけます。こうすると入れたデータの分散の具合がわかる、とでもいいましょうか

[trafalbad]

そんなのがあるんですね、詳しい情報ありがとうございます。あと一つお伺いしたいのですが、inverse_transformで戻したら計算量は少なくなる（計算速度は速くなる）ということで良いのでしょうか？

[hayataka2049]

基本的になりません。情報が落ちた画像が見れるだけです

[trafalbad]

よく聞く計算量を落とすとか計算量を削減するというのはPCAでは何を指すのでしょう？次元削減して計算速度を下げることは無理なのでしょうか？情報の落ちた画像を機械学習で使用しても計算量が変わらなければ意味がない気がしますが

[trafalbad]

この例のように計算すればいいのでしょうか？何度もすいません
https://www.kaggle.com/arthurtok/interactive-intro-to-dimensionality-reduction

[hayataka2049]

機械学習などの入力に使うのは「transformで削減したもの」ですね。

そのURLのページには「Visualizing the Eigenvalues」という節がありますが、あれは固有ベクトルです。ああいう画像を見たければ固有ベクトルを（適当にreshapeして）見れば良いです。

[trafalbad]

ありがとうございました！

Answer 2

シンプルに考えると要素数h×w×3のベクトルにreshapeするといいと思います。
ただ、カラー画像ということで色合いを強めに意識するのであれば、配列[1]と配列[2]と配列[3]を別々にPCAするのも一案かと思います。その上で、[削減後の次元数,3]の配列として処理するもいいでしょうし、そのまま横に連結してあげてもいいかと思います。

Comments

[trafalbad]

よく次元削減して、計算量減らすという手法を聞きますが、削減した後はほかの方の回答を見ても計算量は変わらないそうなのですが、次元削減後は何を訓練画像とすれば計算量を減らせるのでしょうか？固有値関係でこういう記事を見つけたのですが、このような手法であってますでしょうか？https://stackoverflow.com/questions/6574782/how-to-whiten-matrix-in-pca?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa

[R.Shigemori]

> よく次元削減して、計算量減らすという手法を聞きます
ここでいう計算量が何を指し示すのかによると思います。モデルの複雑度を計算量とするのであれば、次元削減はそのまま計算量削減になります。一方、機械学習やニューラルネットワークでいう学習処理の繰り返し回数を計算量とするのであれば、次元削減が繰り返し回数減を保証するものではないので、変わらないという理解になろうかと思います。
> 次元削減後は何を訓練画像とすれば計算量を減らせるのでしょうか？
通常PCAを活用する場合、元の画像→PCAモデル作成→次元削減（画像から成分抽出）→タスクに応じたモデル作成、という感じで進めらます。したがって、元の画像から抽出した成分をインプットとしたモデリングと学習を行えば、次元数そのものが減少していることから、モデルの複雑度が緩和しているので計算量が減少しているととらえていいのではないでしょうか。