質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1767閲覧

Jupyterでpythonコードを実行したときのエラーメッセージ(34, 'Result too large')

tska

総合スコア13

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2019/11/19 07:46

編集2019/11/20 05:49

混合ガウス分布とEMアルゴリズムでの手書き文字(MNISTデータセット)のクラスタリングを実行しようとしました。
Jupyter notebookでpythonを書いたところ、エラーメッセージでreturn np.exp(-0.5 * exponents) / np.sqrt(np.linalg.det(self.covs.T).T * (2 * np.pi) ** self.ndim)
の部分で(34, 'Result too large')と表示され、オーバーフローによるエラーとわかったのですが、対処方法がわかりません。
よろしくお願いいたします。

以下コードです。

#MNISTデータセットをダウンロード import numpy as np from sklearn import datasets from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original') #MNISTの1~255の数字を1にする _, mnist.data, _, y = train_test_split(mnist.data, y,test_size=0.29) mnist_np = np.array(mnist.data) x_0or1 = np.where(mnist_np >= 1,1, 0) #アルゴリズムの設定 class GaussianMixture(object): def __init__(self,n_component): #ガウス分布の個数 self.n_component = n_component #EMアルゴリズムを用いた最尤 def fit(self,X,iter_max=10): #データの次元 self.ndim = np.size(X,1) #混合係数の初期化 self.weights = np.ones(self.n_component) / self.n_component #平均の初期化 self.means = np.random.uniform(X.min(),X.max(),(self.ndim,self.n_component)) #共分散行列の初期化 self.covs = np.repeat(10*np.eye(self.ndim),self.n_component).reshape(self.ndim,self.ndim,self.n_component) #EステップのMステップを繰り返す for i in range(iter_max): params = np.hstack((self.weights.ravel(), self.means.ravel(), self.covs.ravel())) # Eステップ、負担率を計算 resps = self.expectation(X) # Mステップ、パラメータを更新 self.maximization(X, resps) # パラメータが収束したかを確認 if np.allclose(params, np.hstack((self.weights.ravel(), self.means.ravel(), self.covs.ravel()))): break else: print("parameters may not have converged") # ガウス関数 def gauss(self, X): precisions = np.linalg.inv(self.covs.T).T diffs = X[:, :, None] - self.means assert diffs.shape == (len(X), self.ndim, self.n_component) exponents = np.sum(np.einsum('nik,ijk->njk', diffs, precisions) * diffs, axis=1) assert exponents.shape == (len(X), self.n_component) return np.exp(-0.5 * exponents) / np.sqrt(np.linalg.det(self.covs.T).T * (2 * np.pi) ** self.ndim) # Eステップ def expectation(self, X): # PRML式(9.23) resps = self.weights * self.gauss(X) resps /= resps.sum(axis=-1, keepdims=True) return resps # Mステップ def maximization(self, X, resps): # PRML式(9.27) Nk = np.sum(resps, axis=0) # PRML式(9.26) self.weights = Nk / len(X) # PRML式(9.24) self.means = X.T.dot(resps) / Nk diffs = X[:, :, None] - self.means # PRML式(9.25) self.covs = np.einsum('nik,njk->ijk', diffs, diffs * np.expand_dims(resps, 1)) / Nk # 確率分布p(x)を計算 def predict_proba(self, X): # PRML式(9.7) gauss = self.weights * self.gauss(X) return np.sum(gauss, axis=-1) # クラスタリング def classify(self, X): joint_prob = self.weights * self.gauss(X) return np.argmax(joint_prob, axis=1) # MNISTデータセットを実装 def main(): X = x_0or1 n_component=10 model = GaussianMixture(n_component) model.fit(X, iter_max=300) labels = model.classify(X) x_test, y_test = np.meshgrid(np.linspace(-10, 10, 100), np.linspace(-10, 10, 100)) X_test = np.array([x_test, y_test]).reshape(2, -1).transpose() probs = model.predict_proba(X_test) Probs = probs.reshape(100, 100) cmap = plt.get_cmap("tab10") plt.scatter(X[:, 0], X[:, 1], c=[cmap[int(label)] for label in labels]) plt.contour(x_test, y_test, Probs) plt.show() if __name__ == '__main__': main()

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

cateye

2019/11/19 07:49

ソースは<code>で出てくる```と```の間に貼り付けて下さい。 ちゃんと整形されたまま貼り付けられます。
tska

2019/11/20 04:02

親切に教えていただきどうもありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問