PythonでPCAを実施した際のエラー

Question

pythonでPCAを実施を試みています。
Google CollaboratoryでTPUで実行しています。
下記を実行すると、

import math
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.preprocessing import scale

df = pd.read_table('all_FPKMs_remove_zero_null.txt',index_col=0)
df_scale = scale(df.T)

pca = PCA()
pca.fit(df_scale)

print('主成分',pca.components_.round(4))
print('平均',pca.mean_)
print('共分散',pca.get_covariance())
print('各次元の寄与率',pca.explained_variance_ratio_)
print('累積寄与率',sum(pca.explained_variance_ratio_))
print('標準偏差',[math.sqrt(u) for u in pca.explained_variance_])

fuka = pca.components_*np.c_[np.sqrt(pca.explained_variance_)].T
print('負荷\n',fuka.round(4))

transformed = pca.fit_transform(df_scale)
plt.scatter( [u[0] for u in transformed], [u[1] for u in transformed] )
plt.title('PCA of RNA seq')
plt.grid()
plt.xlabel('pc1')
plt.ylabel('pc2')
plt.show()

＞実行結果

主成分 [[ 0.0031  0.0077 -0.0001 ...  0.0009  0.0007  0.0079]
 [ 0.0018 -0.0054  0.0014 ...  0.0023  0.0005  0.0075]
 [-0.0029 -0.0009  0.0076 ... -0.0004  0.0079 -0.0005]
 ...
 [ 0.0034  0.0007 -0.0008 ...  0.003  -0.0045  0.0001]
 [-0.0035  0.0005 -0.0015 ...  0.0007 -0.001   0.0019]
 [-0.0204 -0.0058 -0.0106 ...  0.008  -0.0003  0.0067]]
平均 [-8.43311000e-18  3.04584692e-16  9.11922127e-16 ... -5.46995667e-16
  7.02818867e-17 -4.11093644e-16]
共分散 [[ 1.00073801  0.18042571 -0.10115732 ...  0.02654404  0.01211901
   0.25330053]...
 [ 0.02654404  0.03076802  0.01161014 ...  1.00073801  0.01276057
   0.07838368]
 [ 0.01211901  0.02966463  0.26174796 ...  0.01276057  1.00073801
   0.02457716]
 [ 0.25330053  0.38477469  0.01831294 ...  0.07838368  0.02457716
   1.00073801]]
各次元の寄与率 [1.57061901e-01 6.23013681e-02 4.14671478e-02 ... 4.44736120e-05
 4.32692769e-05 7.07558086e-32]
累積寄与率 0.9999999999999976
標準偏差 [95.73584852801494, 60.295924396713296, 49.19163393272094, 38.433049498662456, 36.85838948---------------------


ValueError                                Traceback (most recent call last)
<ipython-input-2-00bfb4e1ed32> in <module>()
     19 print('標準偏差',[math.sqrt(u) for u in pca.explained_variance_])
     20 
---> 21 fuka = pca.components_*np.c_[np.sqrt(pca.explained_variance_)].T
     22 print('負荷\n',fuka.round(4))
     23 

ValueError: operands could not be broadcast together with shapes (1356,58312) (1,1356) 

エラーではなく、メモリの問題かもと思ったのですが、良く分からず。
どなたか分かる方ご教示頂ければと思います。

Answer 1

fuka = pca.components_*np.c_[np.sqrt(pca.explained_variance_)].T

後半を転置しているからだと思います。

つまり、属性アクセスの優先順位のほうが高いので、

fuka = pca.components_*(np.c_[np.sqrt(pca.explained_variance_)].T)

と評価されます。

転置が不要なら

fuka = pca.components_*np.c_[np.sqrt(pca.explained_variance_)]

全体を転置したいのなら

fuka = (pca.components_*np.c_[np.sqrt(pca.explained_variance_)]).T

とするべきなはずです。

Comments

[iziz]

いつもありがとうございます。
上記の通り修正しましたら正しく動作しました。
コードについては分かっていない部分が多いので教えて頂きたいのですが、「データを見やすくするために転置する」という補足がテキストに気宛あります。これは要は行と列を入れ替えている、つまりこのケースではもともと行＝遺伝子名、列＝サンプルなので、それを入れ替えていると思いますが、どういう時に行と列を入れ替えるのでしょうか。今回のケースも転置しないでPCAを実施した方がずっと見やすいので、転置の意味がわかりません。
実行結果についてまた分からないことがあるので、別途質問あげさせて頂きます。