Q&A
Pythonコードを実行する前からエラーが出るまで、OSの機能でメモリーの残り量をモニターし続けたら、何か分かるかもしれません
前提・実現したいこと
機械学習初心者です。
以下のサイトでアニメのレコメンド機能の実装を扱っていたのでおもしろいと思い、サンプルコードをjupyter notebookで打っていました。
https://www.codexa.net/collaborative-filtering-k-nearest-neighbor/
630万件のデータを扱っているからか、初めてmemory errorが出て困っています。
発生している問題・エラーメッセージ
MemoryError: Unable to allocate 695. MiB for an array with shape (2851, 31957) and data type float64
該当のソースコード
Python
anime_pivot = mergedf.pivot(index='name', columns='user_id', values='rating_user').fillna(0)
試したこと
sample()で700万件近くあるratingのインデックスを10万件に減らしてみましたが、結果は同じでした。
補足情報（FW/ツールのバージョンなど）
流れとしては
mergedf = rating.merge(anime, left_on = 'anime_id', right_on = 'anime_id', suffixes=['_user', ''])
mergedf.info()
[Int64Index: 76178 entries
memory usage: 4.6+ MB]
mergedf = mergedf[['user_id','name','rating_user']]
mergedf = mergedf.drop_duplicates(['user_id', 'name'])
animepivot = mergedf.pivot(index='name', columns='user_id', values='rating_user').fillna(0)
でエラーが起きてしまいました。
使っているパソコンのメモリは16GBですし、Anime Recommendations Database memory errorと調べても全然ヒットしなかったので自分だけなのか、jupyterの設定かなにかよく分かりません。
どんなアドバイスでも構いません。よろしくお願いします。
なるほど。その時はタスクマネージャーを使うってことでしょうか？
> タスクマネージャーを使う
Pythonを実行しているOSがWindowsならば、そうです
メモリー使用量が多い順に並ぶように表示して、エラーが出た時にメモリー残り量が本当に枯渇したのか、もしそうならば何がその時にメモリーを消費していたのか、を確認します
8GBのPCで該当箇所まで試してみましたがエラーは発生しませんでした。実行したコードを全て掲載してみてください。※参考URLのコードをコピペで実行してもエラーが発生しますか？
今一つずつコピペしたんですが、
mergeddf = mergeddf[['user_id','name','rating_user']]を打った時点でmemory errorが出ました。
ちなみにエラーは
MemoryError: Unable to allocate 182. MiB for an array with shape (4, 5957004) and data type int64でした。
mergedfがおかしいのかなと思い、一つ手前の
mergeddf = ratings.merge(anime, left_on = 'anime_id', right_on = 'anime_id', suffixes= ['_user', ''])を更新すると新たにエラーが出ました。
MemoryError: Unable to allocate 45.4 MiB for an array with shape (5957004,) and data type int64
どういうことなのか分かりませんでしょうか？
タスクマネージャーのメモリを見ていると瞬間的に増える様子はないですね。
何度か質問の箇所を更新したりしていたら、python(32ビット)のメモリが少しずつ増えてきて、500MBくらいだったのが今は1079MBになっています。
Jupyterの使い方に関しては大丈夫でした。
パソコンを再起動してからPythonコードを実行したら、どうなりますか？
jbpb0さんがおっしゃるようにメモリーが解放されていないかもしれませんね。jupyterでしたらカーネルの再起動をすればメモリが解放されるでしょう。
タスクマネージャーの「パフォーマンス」の「メモリ」を選ぶと、利用可能な残り容量が分かりますよね
それが、Pythonコード実行前にどれくらい残っているのか？
エラー出た時にどれくらい残っていたのか？
エラー出た後に増えるのか？ (実行前と同じくらいに戻るのか？)
なお、タスクマネージャーの「表示」の「更新の頻度」は「高」にしておく方が、急激な変化の見落としが少なくなります
メモリー残り量が充分にあるのにエラーが出るのなら、hayataka2049さんが回答に書いてるように32bitアプリの制限に引っかかってるのかも
pythonのメモリー使用量を調べるとか
参考
https://qiita.com/fockl/items/ada469c138900caaf0a8
回答1件
0
ベストアンサー
64bitwindowsにおいて32bitプロセスのメモリ使用量は上限2GBです。
32bit版で頑張るのであれば、無駄なデータがGCに回収されずに残るようなことをできるだけ減らし、あとは可能な限りインプレース処理を使うとかするしかありません。
投稿2021/05/03 13:57
総合スコア30935
上限は条件次第で4GBになりそうな気もしますが、とにかく割としょぼい容量で限界が来ます。
https://qiita.com/s_Pure/items/d559c7c9422ac3e10fa5
こだわりがなければ、64bit版を入れ直せばパソコンに積んだメモリまでは使えます。
64bitに変えたらエラーが起きなくなりました！
メモリを見ていると問題の箇所では3500MBくらいまで上昇したのでやっぱりここ頭打ちになってたようです。環境も一新してこれから頑張っていきたいと思います。
本当にありがとうございました。
あなたの回答
tips
プレビュー
