大容量ファイルの読み込みを一度だけに済ませたい

Question

やりたいこと

現在、4GBの「data.pickle」というファイルがあります。

import pandas as pd

# 読み込み
df = pd.read_pickle("data.pickle") 

# 何かの計算処理
df = df * input()

# 結果
print(df.describe())

一例としてのサンプルコードですが、
以上のようにしてファイルを読み込むのですが、このpythonファイルを実行するたび、毎回4GBのファイルを読み込むことになり、これが大変時間がかかります。

最初の一回だけ(時間がかかってもいいので)メモリに読み込んでおいて、
二回目以降はdfだけすでにメモリに読み込まれた状態のものを使うことができる……みたいな方法はないのでしょうか？

ちなみに上記の「# 何かの計算処理」という箇所は、実際にはかなり長くて、複数の関数を行ったり来たりしているややっこしいコードなので、
できればファイルの読み込み部分df = pd.read_pickle("data.pickle") だけ変えて処理できる方法を知りたいです。

ご存知の方よろしくお願いします。

環境

Ubuntu 19.04
メモリはGCEを使うので64GBぐらいまで使えます。

Answer 1

Jupyterとかなら起動中はメモリに載せっぱなしというのもできますが、毎回プロセスを立ち上げ直すのであれば「無理」です。

ということで代替案ですが、以下の2つくらいでしょうか。

• そのデータをto_pickleで吐き出すときに圧縮しておけば4GBが300MBくらいにはなるかもしれません。そうすると3.7GB分のファイルI/Oのコストが浮き、代わりに解凍のコストが生じます。一般的にファイルI/Oは圧縮データの解凍より高コストなので、差し引き黒字になると思います。試す価値はあります。
• システムにRAMディスクを作っておいて読み込みたいpickleをそこに置くという手があります。SSDと比べても数桁高速なので、それくらい速くなるかもしれません。

Answer 2

Flaskで簡易サーバを立てるというのはどうでしょうか。
データ読込はサーバ起動時のみ。計算は以下例ではhttp://localhost:5000/calc?add=10のように指定URL呼出でパラメータも渡せます。

from flask import Flask, request
import pandas as pd

app = Flask(__name__)

@app.route('/')
def hello():
    return('hello!')

# http://localhost:5000/calc?add=10 など
@app.route('/calc')
def calc():
    val = int(request.args.get('add'))
    df2 = df + val # 何らかの計算
    return(str(df2.describe()))
    # val count 3.0 mean 12.0 std 1.0 min 11.0 25% 11.5 50% 12.0 75% 12.5 max 13.0


if __name__ == "__main__":
    df = pd.read_pickle('data.pickle') # pd.DataFrame([1,2,3])
    app.run(debug=True)