ネットワークの出力がすべて同じになる 深層学習

Question

前提・実現したいこと

深層学習でネットワークが異なる入力に対して、すべて同じ出力を返してしまう原因を知りたいです。

ネットワークの初期重みがすべて0になっているのではないかと思いましたが、確認したところ0にはなっていないです。(確認の仕方が間違っているかも？)

ネットワークの重み初期化は行っていないのですが、初期化をしなかった場合デフォルトで重みが0になっていたりしますか？調べたところそのようにはなっていないと思いますが。

以下に抜粋したソースコードを示します。

該当のソースコード

# インデントずれているかもしれませんが気にしないでください。
# model
class EncoderBlock(nn.Module): 
  def __init__(self, in_feature, out_feature): 
    super(EncoderBlock, self).__init__() #継承
    self.in_feature = in_feature
    self.out_feature = out_feature

    layers = []
    layers.append(nn.Conv2d(in_channels=in_feature, out_channels=out_feature, kernel_size=3, stride=1, padding=1))
    layers.append(nn.BatchNorm2d(out_feature))
    layers.append(nn.ReLU(inplace=True))
    self.block = nn.Sequential(*layers)
  def forward(self, x):
    return self.block(x)

class Encoder(nn.Module):
  def __init__(self, dim):
    super(Encoder, self).__init__()

    self.conv1 = EncoderBlock(3  , dim)
    self.conv2 = EncoderBlock(dim, dim)
    self.conv3 = EncoderBlock(dim, dim)
    self.conv4 = EncoderBlock(dim, dim*2)
    self.conv5 = EncoderBlock(dim*2, dim*2)
    self.conv6 = EncoderBlock(dim*2, dim*2)
    self.conv7 = EncoderBlock(dim*2, dim*4)
    self.conv8 = EncoderBlock(dim*4, dim*4)
    self.conv9 = EncoderBlock(dim*4, dim*4)
    self.pool = nn.MaxPool2d(kernel_size=2)

  def forward(self, x):
    out = self.conv1(x)
    out = self.conv2(out)
    out = self.conv3(out)
    out = self.pool(out) 

    out = self.conv4(out)
    out = self.conv5(out)
    out = self.conv6(out)
    out = self.pool(out)
    
    out = self.conv7(out)
    out = self.conv8(out)
    out = self.conv9(out)
    out = self.pool(out)

    return out

class Classifier(nn.Module):
  def __init__(self, class_num, enc_dim, rep_dim, in_w, in_h):
    super(Classifier, self).__init__()

    self.enc_dim = enc_dim
    self.rep_dim = rep_dim
    self.in_w = in_w
    self.in_h = in_h
    self.fc_dim = enc_dim*4 * int(in_h/2/2/2) * int(in_w/2/2/2) # 次元を合わせる(プーリング３回とdim*2を２回)

    self.Encoder = Encoder(self.enc_dim)
    self.fc1 = nn.Linear(self.fc_dim, 512) 
    self.fc2 = nn.Linear(512, 512)
    self.fc3 = nn.Linear(512, self.rep_dim)
  
  def forward(self, x):
    out = self.Encoder(x)
    out = out.view(-1, self.fc_dim) 
    out = F.relu(self.fc1(out))
    out = F.relu(self.fc2(out))
    out = self.fc3(out)
    return out


# Classifarは結局はほぼVGGです(fc2, fc3だけ変更してます)
  net = Classifier(class_num=2, enc_dim=batch_size, rep_dim=512, in_w=32, in_h=32).to(device)

# load datasets
  train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4, drop_last=True)


 def init_center_c(loader, net, eps=0.1): 
    ''' initialing center c '''
    n_samples = 0
    c = torch.zeros(net.rep_dim, device=device) # (0, 0, ..., 0) rep_dim個

    net.eval()
    with torch.no_grad():
      for data in train_loader:
        inputs, _, _ = data
        inputs = inputs.to(device)
        outputs = net(inputs)
        n_samples += outputs.shape[0]
        
        print('shape: ', outputs.shape[0])
        print(outputs.size())
        print(outputs.dim())
        print(inputs)
        print("########")   #####異なる入力に対して出力が全部同じ
        print(outputs)     
        
        c += torch.sum(outputs, dim=0)
    
    c /= n_samples
    #print("c: ", c)
    # If c_i is too close to 0, set to +-eps. 
    # Reason: a zero unit can be trivially matched with zero weights.
    c[(abs(c) < eps) & (c < 0)] = -eps
    c[(abs(c) < eps) & (c > 0)] = eps

    return c


　　c = init_center_c(train_loader, net)

補足

私は今Deep SVDD(データを超球に射影する)を自分でプログラムを書こうと思っています。その過程でネットワークを訓練する前にまず、訓練前のネットワークにデータを入力しその出力の平均を超球の中心とする初期化が必要で、ini_center_cを実行してます。ここのprint(outputs)がすべて同じ出力になってしまう原因を知りたいです。訓練段階においてvalidationによる評価を行っているのですが、そこではoutputsは異なる出力をします。
ini_center_cのoutputsを以下に示します。

Answer 1

なぜかEncoderのチャネルサイズを表すenc_dimにバッチサイズを与えてしまっており、Encoderを通した結果が「つぶれて」しまっているようです。（batch_size = 1〜128を想定）

net = Classifier(class_num=2, enc_dim=batch_size, rep_dim=512, in_w=32, in_h=32).to(device)

以下のようにすることで改善されると思います。（手元の再現では、画像によって出力が変わるようになりました）

net = Classifier(class_num=2, enc_dim=512, rep_dim=512, in_w=32, in_h=32).to(device)

なお、Encoderのブロックの層を減らすと、より顕著に差異が出るようになります。

Comments

[1236]

返信遅くなり申し訳ございません。
出力が同じになってしまう理由は分かりました！

- Encoderのブロックの層を減らすと、より顕著に差異が出るようになる
とはどういう意味でしょうか？
異なる入力に対して出力に差異がでるという意味でしょうか？
そうだとしたらそれは何故でしょうか？
私の理解では層が深いほどより細かな特徴を得るので出力に差異が出やすいと考えていました。
それともDeep SVDDの場合の話でしょうか？そうであれば納得です。

[toast-uz]

何がこの現象に影響を与えているのかの切り分けの1つとして、入口と出口のチャネル数は変えないように、conv1、conv4、conv7だけ残して他のconvを削除してみました。すると、結果の差異が際立ちました。これは実際に試した結果です。
理由はわかりませんが、おそらくVGG系特有の勾配消失で、層が深くなると扱いにくいのかと思いました。ちょっとあやふやなので違うかもしれません。