torch.load(PATH)の内容は如何に

Question

訓練済みのNNパラメーターを再利用するには以下の２つの方法があります。
the_model.load_state_dict(torch.load(PATH))
the_model = torch.load(PATH)

ところが、torch.load(PATH)の内容はどんな物でも、『適当に』解釈され、『利用』できるのでしょうか。

Answer 1

質問がモヤモヤしますので勝手に質問を解釈します。

---

勝手な質問の解釈
Q.1 load_state_dictもtorch.loadもロード関数じゃないか、これらの何が違う？
Q.2 torch.loadはパス以外も受け付ける？

---

勝手な質問の解釈、に対する回答
Pytorch公式は読みましたか？
大体書いてあることは以下の感じです。

関数	できること
model.load_state_dict(arg)	辞書型を、既にあるモデルインスタンスに対して、ぶっこみます
model = torch.load(arg)	パスにある重みデータを読みこんで、重み等をぶっこんだモデルインスタンスを生成します。ただし一定の規則に従えばパス以外も読み込み可能です。

ですので、
Q.1については、既にインスタンスがあるところに読み込むかどうかが違います。
Q.2については、load関数では基本的にパスしか受け付けませんが、read()関数が使えるstringであれば読み込めます。ただし、モデルは普通数百MBはあると思うので「んなでけぇstring形式のファイル普通は嫌だって」が大方のプログラマーの意見だと思います。

Comments

[insecticide]

お返答ありがとうございます。
＞　「んなでけぇstring形式のファイル普通は嫌だって」

NNのmodelパラメータを直列化して保存されるそうですけれども、『string形式のファイル』って何ですか。

[退会済みユーザー]

> 『string形式のファイル』って何ですか
実際に保存してみていませんが、恐らくまんまテキストファイルです。CSVみたいなもの（コンマ区切り）かJSONみたいなもの（Javascriptな定義）か、Numpy arrayをプリントしたようなもの（カッコとコンマの応酬）かわかりませんが、恐らくこういった感じのテキストデータ（無圧縮なのでバイナリデータよりも例えば数倍大きかったり、Pickleすらされていないので10倍くらいおおきかったり、というようなデータ）だと思います。

ですので、勝手な想定では元のバイナリで数百MBの重みデータが、テキストデータにしてしまうと丸GBのテキストデータみたいなファイルになるだろうと思っています。かさばるばかりで（生データを直接見たい触りたいな変態以外）メリットがないので、普通の重みデータの方がイイよね＝「んなでけぇstring形式のファイル普通は嫌だって」という話です。