PyTorchで推論をするときのDataLoaderやDatasetの実装

Question

PyTorchで自作のデータセットでセグメンテーションをしています。
バッチサイズごとのデータの取り出しなどの、データ周りはDataset、DataLoaderのクラスを使って学習まではしたのですが、推論の使い方がわかりません。
Datasetの方は__getitem__の実装をするとき、実際のデータと正解ラベルを格納すると思います。trainとtestは使うのですが、推論(eval)時はラベルデータがありません。
evalの時はDatasetやDataLoaderクラスは使わないのでしょうか。どうラベルデータがないevalのコードを実装するかわからないので、方針と、できればサンプルになるコードがあれば教えていただきたいです。trainとtestのコードは見つかるのですが、evalのコードがなかなか見つかりませんでした。
今はdataloaderから画像を取ってきてモデルを定義しているクラスに渡しています。

Comments

[Q71]

eval > evaluate 評価する
推論はinference(n), infer(v)

eval するのは推論結果を評価するためです。その直前までができるようにすればいいと思います。

[Q71]

http://torch.classcat.com/2017/02/18/mxnet-tutorial-module/

Answer 1

Chainerを使っています。PyTorchはChainerからforkしたものらしいので、同じように使えると思います。
推論の時にDataSet、DataLoaderは不要です。訓練の時と同じshape（おそらく、batch, depths, height, width）のデータを作り、Module で計算させます。よって、訓練と推論は全く別のプログラムです。
もっとも、「保存済みの大量の画像を一括して推論したい」場合、DataLoader, DataSetを使って順次処理してもいいでしょう。その場合、「正解」は適当に設定します。訓練するわけではないので、適当で構いません。
推論させるデータ（画像）の読み込みは何を使っても構いませんが、訓練の時のshapeと同じに揃えなければなりません。「どうすればいいのでしょう？」と言われても、どういう使い方をしたいのかわからないので、答えられません。

http://torch.classcat.com/2017/02/18/mxnet-tutorial-module/
こちらのページで「準備」にある図が、ニューラル ネットワークです。訓練では、このニューラル ネットワークの内部にある多数の係数を決めます。その計算をするデータを連続的に供給するために、DataSetやDataLoaderを使います。推論では、大抵1つのデータを推論できればいいでしょうから、それらは不要です。データも、trainとtestではなく、言うなればtestだけです。
訓練は、trainデータを推論し、結果を正解データと比較して（評価 eval）、その結果によって係数を調整します。一定数のデータによって調整を行った後、訓練には使っていないtestデータで推論、評価を行います。この時は、係数の調整を行いません。

Answer 2

質問者様の意図と違っていたら申し訳ございません。

1. model.train()

学習モード、実際のイメージデータと正解ラベルを受け取る。イメージデータをネットワークに流した後に、出力値と正解ラベルから誤差を算出。その後、求められた誤差を元に最適化アルゴリズムを適用し、パラメータの調整を行う。

1. model.eval()

推論モード、実際のイメージデータと正解ラベルを受け取る。イメージデータをネットワークに流し、出力値を算出する。その後、実際の正解ラベルと比べどの程度の精度であるかを算出する

1. 検証(eval)とテスト(test)

モデルを推論モードで使いたい時は大きく分けて次の二つかと思います。

• 手元にある正解ラベル付きデータを用いて、バリデーションスコアを算出する。この場合、既に正解ラベルが存在するので上記2のイメージでコードを記述すれば良いかと思います。
• 全くの未知のデータに対して、推論を行う際もdataset, dataloaderが必要になってきます。 ** その場合正解ラベルについてはダミーデータで構いません。 **