PythonでPCAを実施した際のエラー

Question

参考書に記載されている方法でがんの遺伝子発現量のPCAを試しにやっています。
下記のコードを実行すると

import math
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.preprocessing import scale

df = pd.read_table('all_FPKMs_remove_zero.txt',index_col=0)
df_scale = scale(df.T)

pca = PCA()
pca.fit(df_scale)

print('主成分',pca.components_.round(4))
print('平均',pca.mean_)
print('共分散',pca.get_covariance())
print('各次元の寄与率',pca.explained_variance_ratio_)
print('累積寄与率',sum(pca.explained_variance_ratio_))
print('標準偏差',[math.sqrt(u) for u in pca.explained_variance_])

fuka = pca.components_*np.c_[np.sqrt(pca.explained_variance_)].T
print('負荷\n',fuka.round(4))

transformed = pca.fit_transform(df_scale)
plt.scatter( [u[0] for u in transformed], [u[1] for u in transformed] )
plt.title('PCA of RNA seq')
plt.grid()
plt.xlabel('pc1')
plt.ylabel('pc2')
plt.show()

下記の様なエラーが出ます

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

エラーの内容と対処法について教えて下さい。

Answer 1

エラーの内容と対処法を教えて頂けないでしょうか。

まず、どの行でエラーになっているのかを確認するところからでしょうか。

Tracebackが出ますので、まずはそれをご自身で読んでいただきましょう。このサイトで支援を求めるのであれば、質問を編集して質問文にまるごと貼り付けてください。

エラーメッセージ「だけ」ではそんなに情報量はありませんが、Tracebackも読めばある程度のことはわかります。自分のプログラムのどの部分がエラーを発生させているのか、ライブラリの中でどんな経路をたどってエラーになっているのか等。

これでたぶんエラーの原因になっているデータくらいはわかるので、めちゃくちゃでかいとかでなければ印字して確認してみるのが一番いいと思いますが……

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

NaN, inf, -inf, その他そもそも浮動小数点数型に変換できないようなデータが混ざっている、ということを言っているにすぎないので、これ自体では情報はほとんどないです。

Comments

[iziz]

ありがとうございます。
下記がエラー文になります。

Traceback (most recent call last):
File "PCA_gdc.py", line 12, in <module>
pca.fit(df_scale)
File "/home/usr/.local/lib/python3.6/site-packages/sklearn/decomposition/_pca.py", line 344, in fit
self._fit(X)
File "/home/usr/.local/lib/python3.6/site-packages/sklearn/decomposition/_pca.py", line 391, in _fit
copy=self.copy)
File "/home/usr/.local/lib/python3.6/site-packages/sklearn/utils/validation.py", line 578, in check_array
allow_nan=force_all_finite == 'allow-nan')
File "/home/usr/.local/lib/python3.6/site-packages/sklearn/utils/validation.py", line 60, in _assert_all_finite
msg_dtype if msg_dtype is not None else X.dtype)
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

ちなみに、データはかなり大きいです。
txtファイルは60000行×1300列で、900Mくらいあります。
それが原因でしょうか。

[hayataka2049]

ここに書かれると他の方にとって見づらいので、エラーは質問文の方にお願いします（コードブロックを使った方が良いでしょう）。
巨大データでそのエラーになるということはないはずです。ただ、PCAに素直にかけるにはきついサイズですが。
nanがあるのかもしれませんが、Doggoさんの回答されているdf_scale.isnull().sum()の結果はどうなりますか？
また、infに関してもnumpy.isinfを使って同様に調べてみてください。

[iziz]

ご指摘の通り、nullを含むサンプルが含まれていましたので、それを除外したら実行自体はできそうです。infも調べましたが、それは含まれていませんでした。
今度はmemory errorと表示されました。

[hayataka2049]

別の問題だと思うので、こちらの質問は解決済みとし（Doggoさんか私のどちらかをBAにしていただければ構いません）、改めて質問を立ててください。
その際、質問文は元の内容に戻しておいてください。回答との関連性がわからなくなるとあとから見る人にとって不都合です。

[iziz]

承知しました、別途質問させて頂きます。また宜しくお願い致します。

[hayataka2049]

重ね重ねになりますが、こちらの質問文の差し戻しをお願いします。回答との関連性がわからなくなるとあとから見る人にとって不都合です。
編集履歴を参考にしてください。
https://teratail.com/questions/history-questions/250021

[iziz]

失礼いたしました。最初の投稿内容に戻しました。

Answer 2

エラーの内容から、pca.fit()が引数に取ったdf_scaleに空値があることが考えられます。
以下のコードを実行して、空値があるか確認してみてください。
df_scale.isnull().sum()
もし空値があるようでしたら、空値を何らかの値で埋めるか、空値のある行を削除してからもう一度実行してみてください。

Comments

[iziz]

ありがとうごいざいます。
空値というのは、０ではなく、値がblankになっているということでしょうか？
全てのカラムで値が0の遺伝子（行）は下記のコードで取り除いています。

import pandas as pd

df = pd.read_table('all_FPKMs_merged_2.txt',sep=('\t'),index_col=0)
all_zero_index = df.index[df.sum(axis=1)==0]
df = df.drop(all_zero_index)
df.to_csv('all_FPKMs_remove_zero.txt',sep='\t')

[iziz]

ご指摘の通り、nullが含まれるサンプルがありました。それを除外したら実行自体はできました。メモリー不足みたいなエラーが出てしまいましたが。