Mixupを使った学習で精度が上がらない

Question

音声分類の機械学習をしています。
データ拡張としてmixupを使って学習をしてみたのですが、何もしていないときよりもスコアが落ちてしまいます。
同じデータでmixupを使って学習している人が高いスコアを出しているためmixupを使ったからスコアが下がるということはないはずだと考え、プログラムが間違っていると思い質問しました。

def mixup(data,label):
    beta = 1
    lam = np.random.beta(beta, beta)
    if lam == 0 or lam == 1:
      return data,label
    index = torch.randperm(data.size(0))
    data = lam * data + (1 - lam) * data[index, :]
    target_a, target_b = label, label[index]
    label = lam * target_a + (1 - lam) * target_b

    return data,label

lamが0,1の時に値をそのまま返すようにしているのは、dataの計算でどちらかが消えてしまうためそのようにしています。
モデルはresnet18,resnet34を使いましたが変わらず下がったままでした。optimizerはAdamを使いました。
わかる方いましたら宜しくお願い致します。