大量データの分割方法

Question

np.loadtxt関数にchunksizeのようなファイルを分割できる引数はあるのでしょうか？
例えばですが、テキストファイルに100万行あるとき、10万行×10とします。

Comments

[tiitoi]

読み込んだあとに分割するのでは駄目なのでしょうか?

[yuuu39]

返信ありがとうございます。
その方法で解決できるのであれば、教えていただきたいです。

Answer 1

numpy.split(配列, 分割数) で分割すればいいと思います。なお、配列の行数が分割数で割り切れないとエラーになります。

numpy.split — NumPy v1.19 Manual

x = np.zeros((1000000, 10))  # np.loadtxt() で読み込んだ配列の代わり

chunks = np.split(x, 10)
for c in chunks:
    print(c.shape)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)
# (100000, 10)

Comments

[yuuu39]

ありがとうございます。助かります。