このサイトの学習データはどこですか？

Question

今、CNNを勉強しておりましてこちらのサイトを自分で使えるようになりたいです。
そのときに、こちらのサイトの学習データや勉強のさせ方がわからないので、教えていただきたいです。
学習データはどこにあり、どのようになっているのか教えていただけたら幸いです。

また、CNNの教師データの作成方法についても教えていただけたら幸いです。
自分でも勉強しているのですが、ネットにあるCNNのプログラムは他のサイトから？ダウンロードして使用するものが多くて、自分でどのように作成するのかわからないため。教えていただきたいです。

何卒よろしくお願い致します。

Comments

[quickquip]

「論文を読もう」以外の感想がないんですよ。
たぶんそんなつもりは毛頭ないのでしょうけれど「誰か私の代わりに論文を読んで私に説明してください」という作業依頼に（端からは）見えています。

Answer 1

以下だけの回答です。

学習データはどこにあり

は

Usage

Trained CNN weights to be used for the inference, can be found here.

と記載されているとおり、hereのリンク先では？

Comments

[退会済みユーザー]

翻訳すると、「推論に使用するためにトレーニングされたCNNの重みは、こちらで確認できます。」ってなっており、確認ってなっていました。

また、リンク先では"hdrcnn_params.npz"となっています。
このファイルがどこで読み込まれているのかわかりませんか？

また、.npzの開き方がわからないため中がどのようなのかわかりません。
どうやって学習データを作成しているのでしょうか？

[jbpb0]

> このファイルがどこで読み込まれているのかわかりませんか？

https://github.com/gabrieleilertsen/hdrcnn/blob/master/hdrcnn_predict.py
の122〜123行目です

https://github.com/gabrieleilertsen/hdrcnn
の「Usage」の「Example」の様に、「--params」でファイル名を指定したらそれが使われ、指定しない場合は、
https://github.com/gabrieleilertsen/hdrcnn/blob/master/hdrcnn_predict.py
の70行目で、「hdrcnn_params.npz」がファイル名として使われます

[jbpb0]

> .npzの開き方がわからない

https://www.python-izm.com/data_analysis/numerical/numpy/ndarray_filerw/#savez_load
の「4 savez / load」を見てください

[jbpb0]

> どうやって学習データを作成しているのでしょうか？

https://github.com/gabrieleilertsen/hdrcnn
の「General」の一番最後に
For training of new weigths information and code is provided in the training_code folder.
って書いてあります

[退会済みユーザー]

jbpb0さん
122~123行目で
load_params = tl.files.load_npz(name=FLAGS.params)
tl.files.assign_params(sess, load_params, net)
があるのはわかりました。
この場合自分で重みを設定するときに~.paramsというファイルを作成し, importなどで呼ぶのですか？それとも、同じディレクトリにあればいいのですか？
この時の重みとは学習データ(教師データ)のことですか？

学習データの作成では
https://github.com/gabrieleilertsen/hdrcnn/tree/master/training_code
を読んだのですが、わからないのですがどうしたら理解できるようになるのでしょうか？

[退会済みユーザー]

教師データ(トレーニングデータ)はどこで読み込まれていますか

[jbpb0]

> 自分で重みを設定するとき

https://github.com/gabrieleilertsen/hdrcnn
の「Usage」の「Example」の様に、「--params」でファイル名を指定します
たとえば、
python hdrcnn_predict.py --params hogehoge.npz...
と実行したら、「hogehoge.npz」が使われます

> 同じディレクトリにあればいいのですか？

ファイル名が「hdrcnn_params.npz」の場合は、同じディレクトリに有れば、「--params」での指定をしなくても、それが使われます

ファイル名が「hdrcnn_params.npz」では無い場合は、どこに置いてあろうとも、「--params」での指定が必ず要ります

同じディレクトリに無い場合は、たぶん下記のようにパスを含めて指定したら読んでくれると思います (未確認)
python hdrcnn_predict.py --params /aaa/bbb/ccc/hogehoge.npz...

> この時の重みとは学習データ(教師データ)のことですか？

学習した結果のAIネットワークのパラメータ(重みとバイアス)です
教師データ(たぶんこの場合は画像ファイル)ではありません

[jbpb0]

> 教師データ(トレーニングデータ)はどこで読み込まれていますか

https://github.com/gabrieleilertsen/hdrcnn/tree/master/training_code
の「Training procedure」のコマンド実行例を見ると、
--raw_dir "PATH_TO_LDR_DATABASE"
--raw_dir "PATH_TO_HDR_DATABASE"
と書かれてますよね

コード読んでないので、よく分りませんが、もし上記の「--raw_dir」で指定してるパスに置いてある画像ファイルが教師データなら、
https://github.com/gabrieleilertsen/hdrcnn/blob/master/training_code/hdrcnn_train.py
の117行目で「./virtualcamera/virtualcamera」を起動する時にそのパスを「-input_path」とセットで渡してますね

「./virtualcamera/virtualcamera」は
https://github.com/gabrieleilertsen/hdrcnn/tree/master/training_code
の「Setup」の「Installation」に書かれてる手順を実行したら、
https://github.com/gabrieleilertsen/hdrcnn/blob/master/training_code/virtualcamera/virtualcamera.cpp
をコンパイルしてできるもので、「-input_path」は346行目で読んでて、393行目でそのパスに置いてあるファイルのファイル名を調べてるっぽいですが、その先何してるのかは知りません

[退会済みユーザー]

> .npzの開き方がわからない
で以下のプログラムで試したのですが
import numpy

# 読み込み
loaded_array = numpy.load('hdrcnn_params.npz')
print(loaded_array)

このようになってしまいわかりません
<numpy.lib.npyio.NpzFile object at 0x7fc44510aad0>

プログラムを以下のようにしても
import numpy

# 読み込み
loaded_array = numpy.load('hdrcnn_params.npz')
print(loaded_array['arr_0'])

File "kakunin.py", line 5, in <module>
print(loaded_array['arr_0'])
File "/Users/1831083/Library/Python/3.7/lib/python/site-packages/numpy/lib/npyio.py", line 262, in __getitem__
raise KeyError("%s is not a file in the archive" % key)
KeyError: 'arr_0 is not a file in the archive'
のようになってしまい、わかりませんでした。
どこが間違っているのでしょうか？

[jbpb0]

import numpy as np
loaded_array = np.load('hdrcnn_params.npz', allow_pickle=True)
print(list(loaded_array))
print(loaded_array['params'])

参考
https://www.haya-programming.com/entry/2018/12/28/004211