joblibのデータファイルの生成機能ついて

Question

joblibでPythonの生のデータを直にファイルに保存してくれるのですが、
いくつかの使用例からすれば、あくまで、一つのデータを一発保存、一発読み込む
ような感じです。例：

import joblib
import numpy as np

x = [.., .., ..]
x = np.array(x, dtype=float) 

with open("x.joblib", mode="wb") as f:
    joblib.dump(x, f, compress=3)

with open("x.joblib", mode="rb") as f:
    x = joblib.load(f)

複数の変数を同じファイルに保存して、別々に読み込んだりしたいですけれども、どうすれば良いのでしょうか。

ご教授宜しくお願い致します。

Answer 1

joblibのdump/loadにそのような機能はありません。

どのような使いかたを想定しているのでしょう？
それによっては別の案があるかもしれません。

Comments

[insecticide]

お返答ありがとうございます。
例えば、a,b,c 三つのPythonの浮動小数の配列があって、joblibで同じファイルに別々に保存し、後から、別々に読み込んで、a,b,c変数に設定したいのです。

どうぞよろしくお願い致します。

[TakaiY]

「別々に」とは、「別のプロセスで」という意味ですか?
だとしても、配列ごと入れて、配列ごと読んで、必要なものだけ使えばいいのではないこと思います。
値を更新して共有というようのことを考えているのであれば、同時アクセスに対応していないので、ロックなど自前でやる必要がありますからお勧めしません。

Answer 2

import numpy as np
import joblib

x = []
a = [1,2,3]
b = [5,6,7]
c = [0.001,0.22,0.00002]
x.append((a,1))
x.append((b,2))
x.append((c,3))
print(x)
print(type(x))
with open("x.joblib", mode="wb") as f:
    joblib.dump(x, f, compress=3)

with open("x.joblib", mode="rb") as f:
    z = joblib.load(f)
print(f'\n\n z=\n{z}')

print(z[0])
print(z[1])
print(z[2])

print(z[0][0])
print(z[0][1])

print(z[2][0])
print(z[2][1])

---

実行結果

[([1, 2, 3], 1), ([5, 6, 7], 2), ([0.001, 0.22, 2e-05], 3)]

<class 'list'>

z=
[([1, 2, 3], 1), ([5, 6, 7], 2), ([0.001, 0.22, 2e-05], 3)]

([1, 2, 3], 1)
([5, 6, 7], 2)
([0.001, 0.22, 2e-05], 3)

[1, 2, 3]
1

[0.001, 0.22, 2e-05]
3

Comments

[insecticide]

これが本命❣　　💞
💞💞💞💞💞💞💞💞💞💞💞💞💞💞

Answer 3

import numpy as np
import joblib

x = []
a = [1,2,3]
b = [5,6,7]
c = [0.001,0.22,0.00002]
x.append(a)
x.append(b)
x.append(c)
print(x)
print(type(x))
y=np.array(x,dtype=np.float32)

print(f'\n\n y=\n{y}\n\n')

print(y[0])
print(y[1])
print(y[2])

with open("y.joblib", mode="wb") as f:
    joblib.dump(y, f, compress=3)

with open("y.joblib", mode="rb") as f:
    z = joblib.load(f)
print(f'\n\n z=\n{z}')

---

結果
[[1, 2, 3], [5, 6, 7], [0.001, 0.22, 2e-05]]
<class 'list'>

y=
[[1.0e+00 2.0e+00 3.0e+00]
[5.0e+00 6.0e+00 7.0e+00]
[1.0e-03 2.2e-01 2.0e-05]]

[1. 2. 3.]
[5. 6. 7.]
[1.0e-03 2.2e-01 2.0e-05]

z=
[[1.0e+00 2.0e+00 3.0e+00]
[5.0e+00 6.0e+00 7.0e+00]
[1.0e-03 2.2e-01 2.0e-05]]

結構行けますね❣　
自由度高き、便利だわ💖🥰💞