前提・実現したいこと
EC2上でPythonを使いトピック分析(LDA)を回しています。
するとLDAをfit_transformするところで下記2つのエラーが出てうまく動きませんでした。
発生している問題・エラーメッセージ
ValueError: mmap length is greater than file size OSError: [Errno 28] No space left on device
該当のソースコード
def LDA_fit(data, components): lda = LatentDirichletAllocation(n_components=components, max_iter=300, learning_method='online', random_state=0, n_jobs=-1, verbose=5) X = lda.fit_transform(data) return X, lda X, model = LDA_fit(data, components)
Xは50万行ほどのデータです。
試したこと
1つ目のエラーに関しては調べてみても類似のものが出てこず、
またmmapのライブラリも使っていないためよくわかりませんでした。
2つ目のエラーに関しては下記のサイト、
https://qiita.com/0x50/items/ecc6cfdbb8a3f0c0855f
を参考に$ df -h, $ df -iを試してみましたがどちらも問題は無さそうで、わかりませんでした。
よろしくお願い致します。
あなたの回答
tips
プレビュー