torch.squeezeの用途？

Question

torch.squeezeは要素数が1のみの軸を削除してくれるそうですが、どんな場合利用されるのでしょうか。
このような関数の存在意味が分かりません。

宜しくお願いします

Answer 1

例えば、C クラスの画像分類モデルを考えると、サンプル1つを推論した場合、形状が (1, C) のテンソルが出力として得られますが、これを squeeze() して 形状 (C,) のテンソルにするとかでしょうか。

unsqueeze() というサイズ1の軸を追加する関数があるので、それとは逆に、サイズ1の軸を削除する関数があるというのは API 設計としては自然だと思います。

そうしてこんな事をしなければならいのでしょうか。

しなければならないというわけでないです。
コードを書いている際にサイズが1の次元を削除したい場合がなんらかの理由が出てきたら、squeeze() があることを思い出して使えばいいというだけです。

先程の1枚だけ推論する例の場合、別に squeeze() を使わなくても書けるのでどっちでもいいです。

squeeze() を使う場合

pred = model(x)  # 推論する。 (1, 1000)  (バッチサイズ, クラス数) のテンソル
pred = pred.squeeze()  # (1000, )  (クラス数,) のテンソル バッチサイズの次元を削除
print("予測したクラス", pred.argmax())

squeeze() を使わない場合

pred = model(x)  # 推論する。 (1, 1000)
print("予測したクラス", pred[0].argmax())

Comments

[OOZAWA]

おっしゃると思いますが、
大変申し訳無いですけど、
形状が (1, C) を(C,)にする自体に意味が分かりません。
そうしてこんな事をしなければならいのでしょうか。

[tiitoi]

先程の例でも別に squeeze() を使わなくてもいいです。
「サイズが1の次元を削除したい場合がなんらかの理由が出てきたら squeeze() を使いましょう」というだけなので、そのような必要性が出てこないのであれば、squezze() を無理して使う必要もありません。

[OOZAWA]

素晴らしいご解説ありがとうございました！
確かにdeep learning NNの実装コードの中にsqueeze() メソッドが良く見かけますね。次元削除したい場合は大いにあると思いますが、
どうして一般的な次元削除法がなく、サイズ＝１の次元を削除するメソッドしかないでしょうか。
例えば、メモリを節約するために不要なサイズの大きい軸を削除するほうがもっと効果的と思いますが。

[tiitoi]

サイズ1以外の軸は削除できないです。
例えば、形状が (3, 2) のテンソルがあったとして、dim=0 を消して形状を (2,) にするという処理は定義できないです。
[[1, 2], [3, 4], [5, 6]] の dim=0 を消すという処理は定義できない

一方、形状が (1, 3) のようにサイズ=1であれば、dim=0 を消して形状を (3,) にするという処理は定義できます。
[[1, 2, 3]] -> [1, 2, 3]

[OOZAWA]

あっ、そうですか。ご指摘本当に感謝致します。
その他の次元のサイズ１でなければ、削除できないですね。
逆に次元のサイズ１であれば、座標空間においてデータの分布が某軸への投影が１点しかない場合に相当するので、その軸の存在意味が薄くなるというイメージです。
でも、メモリでデータを保存する場合、そもそも[[1, 2, 3]] と [1, 2, 3]はまったく同じと思って、わざわざ軸を削除する操作が要らないのではないでしょうか。

[tiitoi]

squeeze はメモリ削減のために軸を削除する関数ではありません
サイズ1の軸を削除してもテンソルのもつ要素数は変わらないので、必要なメモリ量は変わらないです
この関数はサイズ1の軸を削除して、例えば2次元配列を1次元配列にすることに使います。
軸を削除するのは、プログラミング上の都合です。関数によっては入力が何次元配列か決まっているので、それに合わせるために次元数を変更したりします。

[OOZAWA]

丁寧なご指導ありがとうございました。
お陰様で理解できました！