質問編集履歴

詳細なソースコードの追加

2021/08/27 07:31

投稿

mek_41

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,40 +1,350 @@
+1.前提・実現したいこと
 python3でmain.pyでlossの計算をしており、その結果をresultに保存してvisual.pyでtSNEを用いて可視化するプログラムを作っています。
-可視化した結果は
-plt.savefig("ファイル名.png")
-で保存しています。
-今回はmain.pyで10000epoch学習させるのですが、1000epoch毎にそれまでのlossの学習結果をvisual.pyで可視化してくれるプログラムが欲しいです。
-①10000epoch学習し終わった後に1000epoch毎に可視化させていく
-②10000epoch学習しているときに、1000epoch過ぎるごとに、visual.pyが実行されていく
-①または②のような機能を実装したいのですがうまく書くことができません。
-今は10000epochの学習が終わった後にvisual.pyを実行させて可視化しており、途中経過が見れなくて困っています。
-出力結果ぼ表示と書き込みは以下のようにしています。
-##### training & validation #####
+main.pyで10000epoch学習させるのですが、1000epoch毎にlossの学習結果をvisual.pyで可視化してくれるプログラムを実装したいと考えています。
+2.発生している問題
+今は10000epochの学習が終わった後にvisual.pyを実行させて可視化し、plt.savefig("ファイル名.png")で保存していますが。5000epochなどの途中経過が見れなくて困っています。また、visual.pyを実行させ、可視化結果をvisual.pyが実行されるごとに名前を変えて保存がしたいです。
+3.該当のソースコード
+```main,py
+##### ライブラリ読み込み #####
+## 省略
+### dataloader##
+## 省略
+## train ##
+def train(epoch):
+    model.train()
+    # 初期設定
+    sum_loss = 0
+    correct = 0
+    total = 0
+    # 学習ループ  inputs:入力画像  targets:教師ラベル
+    for batch_idx, (inputs, targets) in enumerate(tqdm(train_loader, leave=False)):
+        inputs = inputs.cuda(device)
+        targets = targets.cuda(device)
+        targets = targets.long()
+        y,output = model(inputs)
+        loss = criterion(output, targets)
+        optimizer.zero_grad()
+        loss.backward()
+        optimizer.step()
+        sum_loss += loss.item()
+        ##精度の計算##
+        # 出力をsoftmax関数に(0~1)
+        output = F.softmax(y, dim=1)
+        # 最大ベクトル
+        _, predicted = output.max(1)
+        # total = 正解, correct = 予測
+        total += (targets.size(0)*targets.size(1)*targets.size(2))
+        correct += predicted.eq(targets).sum().item()  #predicted.eq(targets)
+    return sum_loss/(batch_idx+1), correct/total
+## validation ##
+def val(epoch):
+    model.eval()
+    sum_loss = 0
+    correct = 0
+    total = 0
+    # 設定：パラメータの更新なし
+    with torch.no_grad():
+        # 学習ループ  inputs:入力画像  targets:教師ラベル画像
+        for batch_idx, (inputs, targets) in enumerate(tqdm(val_loader, leave=False)):
+            inputs = inputs.cuda(device)
+            targets = targets.cuda(device)
+            targets = targets.long()
+            y, output = model(inputs)
+            loss = criterion(output, targets)
+            sum_loss += loss.item()
+            ##精度の計算##
+            # 出力をsoftmax関数に(0~1)
+            output = F.softmax(y, dim=1)
+            # 最大ベクトル
+            _, predicted = output.max(1)
+            # total = 正解, correct = 予測
+            total += (targets.size(0)*targets.size(1)*targets.size(2))
+            correct += predicted.eq(targets).sum().item()  #predicted.eq(targets) :
+    return sum_loss/(batch_idx+1), correct/total
+## main ##
+if __name__ == '__main__':
+    parser = argparse.ArgumentParser(description='SemanticSegmentation')
+    parser.add_argument('--gpu', '-g', type=int, default=0,
+                        help='GPU id')
+    parser.add_argument('--batchsize', '-b', type=int, default=4,
+                        help='Number of images in each mini-batch')
+    parser.add_argument('--Tbatchsize', '-t', type=int, default=4,
+                        help='Number of images in each mini-batch')
+    parser.add_argument('--num_epochs', '-e', type=int, default=65536,
+                        help='Number of epoch')# 学習回数(epoch)指定
+    parser.add_argument('--out', '-o', type=str, default='result',
+                        help='Directory to output the result')
+    parser.add_argument('--seed', '-s', type=int, default=0,
+                        help='Random seed')
+    parser.add_argument('--lr', '-l', type=float, default=1e-3,
+                        help='Learning rate')
+    args = parser.parse_args()
+    ## Covid-19 dataset ##
+    classes = 4
+    inputs_ch = 3
+    ## 初期設定表示 ##
+    print("[Experimental conditions]")
+    print(" GPU ID         : {}".format(args.gpu))
+    print(" Epochs         : {}".format(args.num_epochs))
+    print(" Minibatch size : {}".format(args.batchsize))
+    print(" Class number   : {}".format(classes))
+    print(" Learning rate  : {}".format(args.lr))
+    print("")
+    ## GPU設定 ##
+    device = torch.device('cuda:{}'.format(args.gpu) if torch.cuda.is_available() else 'cpu')
+    ## 保存ディレクトリ・ファイル ##
+    if not os.path.exists("{}".format(args.out)):
+      	os.mkdir("{}".format(args.out))
+    PATH_1 = "{}/trainloss.txt".format(args.out)
+    PATH_2 = "{}/valloss.txt".format(args.out)
+    PATH_3 = "{}/trainaccuracy.txt".format(args.out)
+    PATH_4 = "{}/valaccuracy.txt".format(args.out)
+    with open(PATH_1, mode = 'w') as f:
+        pass
+    with open(PATH_2, mode = 'w') as f:
+        pass
+    with open(PATH_3, mode = 'w') as f:
+        pass
+    with open(PATH_4, mode = 'w') as f:
+        pass
+    # モデル設定
+    model = UNet(in_ch=inputs_ch, n_class=classes).cuda(device) #in_ch = input channel, n_class = output channel
+    # 損失関数設定
+    criterion = SquareLoss(device=device)
+    # オプティマイザー設定
+    optimizer = torch.optim.Adam(model.parameters(), lr=args.lr)
+    # 初期値の乱数設定
+    random.seed(args.seed) #python
+    np.random.seed(args.seed) #numpy
+    torch.manual_seed(args.seed) #pytorch
+    # データ読み込み+初期設定
+    train_loader, val_loader = dataload()
+    ## training & validation ##
     best_loss = 1000
@@ -48,7 +358,7 @@
-        ##### 結果表示 #####
+        ## 結果表示 ##
         print("Epoch{:3d}/{:3d}  TrainLoss={:.4f}  ValAccuracy={:.2f}%".format(epoch+1,args.num_epochs,train_loss,val_accuracy*100))
@@ -56,7 +366,7 @@
-        ##### 出力結果を書き込み #####
+        ## 出力結果書き込み ##
         with open(PATH_1, mode = 'a') as f:
@@ -84,14 +394,256 @@
            torch.save(model.state_dict(), PATH)
-　　　　##### 1000epochごとにplot #####
-        if epoch % 1000==0:
-            test(epoch=epoch+1)
-1000epochごとにプロットするには以下のようにプログラムを足せばいいのはわかるのですが、1000epochごとに、visual.pyを実行するにはどうしたらいいでしょうか。
+```
+```visual_tSNE.py
+from sklearn.manifold import TSNE
+# 結果の可視化
+import matplotlib.pyplot as plt
+##### ライブラリ読み込み #####
+## 省略
+## test関数 ##
+def test():
+    model.eval()
+    correct = 0
+    total = 0
+    test_transform = transforms.Compose([transforms.ToTensor(), #0~1正規化+Tensor型に変換
+                                 transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225]),
+                                 ])
+    # 画像はcovid-19のtest画像を利用
+    img = Image.open('Dataset/covid19/Image/test/img_100.png').convert('RGB')
+    # ラベル読み込み
+    L = Image.open('Dataset/covid19/Label/test/img_100.png').convert("L")
+    # 画像の正規化
+    inputs = test_transform(img)
+    to_tensor = transforms.ToTensor()
+    L = to_tensor(L) * 255
+    inputs = inputs.cuda(device).unsqueeze(0)
+    print(inputs.shape)
+    y,h = model(inputs)
+    y = F.softmax(y, dim=1)
+    _, predicted = y.max(1)
+    return predicted, h, L
+class UNet(nn.Module):
+   # 初期設定
+    def __init__(self, in_ch=1, n_class=4):
+        super(UNet, self).__init__()
+        # Convolution Layer
+        ## 省略
+    def __call__(self, x):
+        # Block1  Encoder
+        # Block2  Encoder
+        # Block3  Encoder
+        # Block4  Middle
+        # Block5  Decoder
+        # Block6  Decoder
+        # Block7  Decoder
+        # discriminate
+        y = self.conv_f(h)
+        return y, h
+## GPU設定 ##
+device = torch.device('cuda:0')
+# モデル設定
+model = UNet(in_ch=3, n_class=4).cuda(device)
+# 学習済みモデルのロード
+model_path = PATH ="result/model.pth"
+model.load_state_dict(torch.load(model_path))
+y, h , L = test()
+print(L.shape)
+y = y.view(y.size(1) * y.size(2))  # (W*Hのデータ数にする)
+L = L.view(L.size(1) * L.size(2))
+L = L.to(torch.int32)  # float32 -> int32
+#print(y.size())
+y = y.tolist()
+L = L.tolist()
+h = h.view(1, h.size(1), h.size(2) * h.size(3))
+h = h[0]  # (h.size(1), W*H)
+h = h.permute([1, 0])  # 次元を入れ替え(データ数, 次元)
+X_test = h.to('cpu').detach().numpy().astype(np.float32)  # tensor -> numpy
+# 入力画像の確認
+print(X_test.shape)
+print(type(X_test))
+# t-SNEの適応
+# X_testにt-SNEを適応し、得られた低次元データをX_tsneに格納する
+tsne = TSNE(n_components = 2) # 低次元データの次元数
+X_tsne = tsne.fit_transform(X_test) # X_test : 入力画像とラベル
+# t-SNEの可視化
+colors = ['black', 'blue', 'green', 'red']
+plt.xlim(X_tsne[:, 0].min(), X_tsne[:, 0].max() + 1)
+plt.ylim(X_tsne[:, 1].min(), X_tsne[:, 1].max() + 1)
+for color_index in range(len(colors)): # 黒青緑赤の順に描画
+    for i in range(len(X_test)):
+        if L[i] == color_index:
+            plt.text(
+                X_tsne[i, 0],
+                X_tsne[i, 1],
+                str(L[i]),
+                color = colors[L[i]]
+            )
+plt.xlabel('t-SNE Feature1')
+plt.ylabel('t-SNE Feature2')
+plt.savefig(ファイル名.png")
+```
+4.自分で調べたこと
+if epoch % 1000==0:
+test(epoch=epoch+1)
+1000epochごとにプロットするには以下のようにを足せばいいのはわかるのですが、1000epochごとに、visual.pyを実行し、それぞれ名前を変えて保存するにはどうしたらいでしょうか。(例：1000epochの可視化結果　img1.png, 2000epochの可視化結果 img2.pngなど)
+5.使っているツール
+python3

ソースコードの追加

2021/08/27 07:31

投稿

mek_41

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -86,9 +86,9 @@
-　　　　##### 10epochごとにplot #####
+　　　　##### 1000epochごとにplot #####
-        if epoch % 10==0:
+        if epoch % 1000==0:
             test(epoch=epoch+1)

ソースコードの追加

2021/08/24 05:25

投稿

mek_41

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -20,8 +20,78 @@
-でもどちらのパターンでも構わないです。
+①または②のような機能を実装したいのですがうまく書くことができません。
 今は10000epochの学習が終わった後にvisual.pyを実行させて可視化しており、途中経過が見れなくて困っています。
+出力結果ぼ表示と書き込みは以下のようにしています。
+##### training & validation #####
+    best_loss = 1000
+    #args.num_epochs = max epoch
+    for epoch in range(args.num_epochs):
+        train_loss, train_accuracy = train(epoch) # train
+        val_loss, val_accuracy = val(epoch) # validation
+        ##### 結果表示 #####
+        print("Epoch{:3d}/{:3d}  TrainLoss={:.4f}  ValAccuracy={:.2f}%".format(epoch+1,args.num_epochs,train_loss,val_accuracy*100))
+        ##### 出力結果を書き込み #####
+        with open(PATH_1, mode = 'a') as f:
+            f.write("{}\t{:.2f}\n".format(epoch+1, train_loss))
+        with open(PATH_2, mode = 'a') as f:
+            f.write("{}\t{:.2f}\n".format(epoch+1, val_loss))
+        with open(PATH_3, mode = 'a') as f:
+            f.write("{}\t{:.2f}\n".format(epoch+1, (train_accuracy*100)))
+        with open(PATH_4, mode = 'a') as f:
+            f.write("{}\t{:.2f}\n".format(epoch+1, (val_accuracy)*100))
+        if train_loss <= best_loss:
+           best_loss = train_loss
+           PATH ="{}/model.pth".format(args.out)
+           torch.save(model.state_dict(), PATH)
+　　　　##### 10epochごとにplot #####
+        if epoch % 10==0:
+            test(epoch=epoch+1)
+1000epochごとにプロットするには以下のようにプログラムを足せばいいのはわかるのですが、1000epochごとに、visual.pyを実行するにはどうしたらいいでしょうか。