質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1322閲覧

python memmapを用いてコードを変換・RAMの不足

20191115

総合スコア4

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/11/15 03:35

前提・実現したいこと

google colaboratory においてRAMの使用量が大きすぎてクラッシュしてしまいました。
dataframeを用いた実装をしていたのですが、少し調べたところnumpyのmemmapを使用することにより、
ディスクとのやりとりによりRAMの使用量を削減できるのではないかと思いました。
そこで、以下のコードをmemmapを使用して変換してくださると嬉しいです。
(memmapを用いずとも、0~63行のdfの内容が見ることが可能ならどのような解決方法でも問題はありません)
よろしくお願いします。

発生している問題・エラーメッセージ

セッションがクラッシュしました。 使用可能な RAM をすべて使用した後で、セッションがクラッシュしました。

該当のソースコード

python

1import pandas as pd 2 3df = pd.DataFrame() 4num = {} 5 6for i in range(16): 7 num[i] = [str(i)+'-'+str(j) for j in range(32)] 8 df = pd.concat(objs=[df, pd.DataFrame([num[i]])], axis=0) 9 10df.index = [i for i in range(16)] 11 12# pat: how many bits df shift, df: dataframe, num: row 13def shr(pat, df, num): 14 15 dfshr_temp = df.iloc[num].shift(pat, fill_value='0') 16 dfshr_temp = pd.DataFrame(dfshr_temp).T 17 dfshr_temp = dfshr_temp.reset_index(drop=True) 18 19 return dfshr_temp 20 21# pat: how many bits df rotate, df: dataframe, num: row 22def rotr(pat, df, num): 23 24 dfrotr_temp = df.iloc[num].shift(pat, fill_value=df.iloc[num, pat*(-1):]) 25 dfrotr_temp = pd.DataFrame(dfrotr_temp).T 26 dfrotr_temp = dfrotr_temp.reset_index(drop=True) 27 28 return dfrotr_temp 29 30for t in range(16, 64): 31 print(t) # 確認用 32 df = pd.concat(objs=[df, pd.DataFrame(rotr(17, df, t-2)+'xor'+rotr(19, df, t-2)+'xor'+shr(10, df, t-2)+'or'+df.iloc[t-7, :]+'or'+rotr(7, df, t-15)+'xor'+rotr(18, df, t-15)+'xor'+shr(3, df, t-15)+'or'+df.iloc[t-16, :])], axis=0) 33 df = df.reset_index(drop=True) 34 35#df.iloc[63, :]

試したこと

Ramの増築を試みましたが、for文のt == 47でクラッシュしてしまいました。

補足情報(FW/ツールのバージョンなど)

google colaboratory
RAM 25.51GB
ディスク 48.97GB

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問