非同期処理で'Object of type 'ndarray' is not JSON serializable'エラーの解決法

Question

djangoで予測コード(main.py)からworker(.init.py)にタスクキューを投げて非同期処理をしようとしました。　　
workerにはceleryを使ってます。

しかし、json形式になってないとのエラーが出てしまします。
作業の流れ的には以下のようになります。

手順1. $ python manage.py runserverでdjangoを起動
手順2. http://127.0.0.1:8000/myappにアクセス
手順3. フロントエンドで画像を入力
手順4. main.pyの関数predに入力した画像が入り、worker(init.py)の関数add_numbersを呼び出し（非同期処理をして）、予測コードを返す

この手順４でmain.pyのadd_numbers.delay(image)でworkerにimage（画像）を投げるとエラーが出てる状況です。

おそらくnumpy形式の画像がjson形式でないからだと思うのですが、、

何かいい解決策はないでしょうか？
ご教授お願いします

# エラー
Exception Value:	
Object of type 'ndarray' is not JSON serializable
Exception Location:	/anaconda3/envs/django/lib/python3.6/json/encoder.py in default, line 180
Python Executable:	/anaconda3/envs/django/bin/python

#main.py
def pred(img_path):
    x=np.asarray(Image.open(img_path))
    x=np.resize(x,(150,150,3))
    x = np.expand_dims(x, axis=0)
    image = preprocess_input(x)
    id = add_numbers.delay(image)
    time.sleep(10)
    id=id.result
    return id

#__init__.py 
@app.task()
def add_numbers(image):
    sess = tf.Session()
    K.set_session(sess)
    cnt=pd.read_csv(CNT_PATH)
    cnt=cnt.drop('Unnamed: 0', axis=1)
    cnt=cnt.drop('cnt', axis=1)
    
    
    dic = {}
    for i, v in cnt.iterrows():
        dic.setdefault(v['index'], []).append([v['brand_id'], v['model_id'], v['cate_id']])

    
    #x=np.asarray(Image.open(img_path))
    #x=np.resize(x,(150,150,3))
    #x = np.expand_dims(x, axis=0)
    #image = preprocess_input(x)
    
    test_model = InceptionResNetV2(include_top=True)
    test_model.load_weights(WHEIGHT_PATH)
    test_model.compile(optimizer=SGD(lr=0.01, momentum=0.9, decay=0.001, nesterov=True),
                       loss='categorical_crossentropy',
                       metrics=['accuracy'])

    y_pred = test_model.predict(image)
    top_k=sess.run(tf.nn.top_k(y_pred,k=3,sorted=True))
    idxs=list(np.reshape(top_k[1],(3,)))
    id=[]
    for idx, v in dic.items():
        if idx in idxs:
            id.append(['brand_id:{} model_id:{}, cate_id:{}'.format(v[0][0], v[0][1], v[0][2])])
    return id

Answer 1

とりあえずarray.dumpsでバイト列にはなります。復元はnp.loadsでできます。

>>> import numpy as np
>>> np.arange(3).dumps()
b'\x80\x02cnumpy.core.multiarray\n_reconstruct\nq\x00cnumpy\nndarray\nq\x01K\x00\x85q\x02c_codecs\nencode\nq\x03X\x01\x00\x00\x00bq\x04X\x06\x00\x00\x00latin1q\x05\x86q\x06Rq\x07\x87q\x08Rq\t(K\x01K\x03\x85q\ncnumpy\ndtype\nq\x0bX\x02\x00\x00\x00i8q\x0cK\x00K\x01\x87q\rRq\x0e(K\x03X\x01\x00\x00\x00<q\x0fNNNJ\xff\xff\xff\xffJ\xff\xff\xff\xffK\x00tq\x10b\x89h\x03X\x18\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00q\x11h\x05\x86q\x12Rq\x13tq\x14b.'
>>> np.loads(np.arange(3).dumps())
array([0, 1, 2])

これで行けたら嬉しいですが、駄目だった場合はbase64でも使ってみましょうか。

>>> import base64
>>> base64.b64encode(np.arange(3).dumps()).decode()
'gAJjbnVtcHkuY29yZS5tdWx0aWFycmF5Cl9yZWNvbnN0cnVjdApxAGNudW1weQpuZGFycmF5CnEBSwCFcQJjX2NvZGVjcwplbmNvZGUKcQNYAQAAAGJxBFgGAAAAbGF0aW4xcQWGcQZScQeHcQhScQkoSwFLA4VxCmNudW1weQpkdHlwZQpxC1gCAAAAaThxDEsASwGHcQ1ScQ4oSwNYAQAAADxxD05OTkr/////Sv////9LAHRxEGKJaANYGAAAAAAAAAAAAAAAAQAAAAAAAAACAAAAAAAAAHERaAWGcRJScRN0cRRiLg=='
>>> np.loads(base64.b64decode(base64.b64encode(np.arange(3).dumps()).decode()))
array([0, 1, 2])

必要に応じて圧縮して送るなども可能です。

>>> import io
>>> f = io.BytesIO() # メモリ上で擬似ファイルオブジェクトっぽく振る舞うもの
>>> np.savez_compressed(f, a=np.arange(1000))
>>> f.seek(0) # 書き終わった後にファイル先頭にシークする
0
>>> s = f.read()
>>> len(s)
1743
>>> len(np.arange(1000).dumps())
8697

Comments

[trafalbad]

base64でいけました。ありがとうございます！
main.py
image_dump=base64.b64encode(image.dumps()).decode()
id = add_numbers.delay(image_dump)

__init__.py
image=np.loads(base64.b64decode(image_dump))