PytorchのDataLoader特長と必要性は何ですか❓

Question

これまでPytorchが用意してくれたClass
torch.utils.data.TensorDataset(...)と torch.utils.data.DataLoader(...)を両方利用して、初めてNNの訓練を行えましたが、

最近、numpy.random.choice()関数を知り、上記と同じことを簡単に実現できるような感じです。

素朴な質問ですけれども、
numpy.random.choice()関数がある以上、面倒くさくtorch.utils.data.TensorDataset(...)と torch.utils.data.DataLoader(...)を両方利用して訓練を行う必要性はあるのでしょうか。

言い換えれば、DataLoader(...)はnumpy.random.choice()にはない機能や特長あるのでしょうか。

ご教授お願い致します

Comments

[退会済みユーザー]

これ系の質問はよくわからない理由で2-3のマイナス評価が毎度つきますね…。私は大事な質問と思いますので中和の+1をします。

マイナス評価をされた方へ：
もし「質問の意図が分からない、投げやりすぎる」等が理由だった場合、以下の質問は無視してください。純粋に「プログラムを実装する分からないことがある、（速さなのか、メンテナンス性なのか、可読性なのかいろいろあるとは思いますが）最良な手法を探りたい、その上で何が最良か分からないので材料が欲しい」それだけで十分な課題と私は思います。いかがお考えでしょうか？

Answer 1

言い換えれば、DataLoader(...)はnumpy.random.choice()にはない機能や特長あるのでしょうか。

ここにありますが、Numpyはエポックごとにランダムな値を作るわけではないので、Numpyを使うのであれば毎度seedを作ってやる必要がある――というように見えます。
Pytorchにあれこれ任せるメリットは、DataLoaderでリアルタイムにデータ増強ができる（膨大な数の学習データを用意しなくても都度生成できる）とかその辺にあるように思います。

Comments

[insecticide]

＞Numpyを使うのであれば毎度seedを作ってやる必要がある

そうですか、貴重なご解説ありがとうございます！

ーーーーーーーーーーーーーーーーーーーーーーーー

＞DataLoaderでリアルタイムにデータ増強ができる
これについて、「DataLoader」というよりdatasetを生成するプロセスの工夫でしょうか。

例えば
transform = transforms.Compose(
[transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor()]
)

dataset = ImageFolder("data", transform)

また宜しくお願いいたします

[退会済みユーザー]

> 「DataLoader」というよりdatasetを生成するプロセスの工夫
その通りです。そのあたりを全部やってくれるので、Data agumentationしたデータをデータセットに格納しておくより、適当なデータを用意してバッチごとにData augmentationした方が便利ですね、というつもりで書きました。

[insecticide]

なるほど。非常に勉強になりました。