編集履歴

質問編集履歴

resnet101のファインチューニングを行ったコード追加、参考にさせていただいたサイトのURLを追加。

2020/11/29 00:20

投稿

tomomina

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,6 +1,18 @@
 Pythonを使って深層学習を勉強している初心者です。
-resnet101を用いて、ファインチューニングを行いたいと考えています。前処理として、手元にある画像サイズ640×480を、画像サイズ、224×224に変更する必要があります。画像は、音をスペクトログラムにしたものです。そのため、横軸に時間、縦軸に周波数、色は信号の強さを表しており、リサイズを行った場合、画像にある情報が潰れてしまいます。これを避けるために、前処理で画像サイズを変更しない方法や画像にある情報を潰さずに済む方法がありましたら、教えていただけると助かります。
+resnet101を用いて、ファインチューニングを行いたいと考えています。(resnet101の方は、torchvision で提供されている学習済みのモデルを使用しております。)前処理として、手元にある画像サイズ640×480を、画像サイズ、224×224に変更する必要があります。画像は、音をスペクトログラムにしたものです。そのため、横軸に時間、縦軸に周波数、色は信号の強さを表しており、リサイズを行った場合、画像にある情報が潰れてしまいます。これを避けるために、前処理で画像サイズを変更しない方法や画像にある情報を潰さずに済む方法がありましたら、教えていただけると助かります。
+参考させていただいたサイト:　https://blog.brainpad.co.jp/entry/2018/04/17/143000
 スペクトログラム
@@ -158,4 +170,174 @@
+#resnet101を用いたファインチューニング
+use_pretrained = True  # 学習済みのパラメータを使用
+net = models.resnet101(pretrained=use_pretrained)
+net.fc = nn.Linear(in_features=2048, out_features=10)
+print(net)
+# 訓練モードに設定
+net.train()
+print('ネットワーク設定完了：学習済みの重みをロードし、訓練モードに設定しました')
+# 損失関数の設定
+criterion = nn.CrossEntropyLoss()
+# ファインチューニングで学習させるパラメータを、変数params_to_updateの1～3に格納する
+params_to_update_1 = []
+params_to_update_2 = []
+params_to_update_3 = []
+# 学習させる層のパラメータ名を指定
+update_param_names_1 = ["layer"]
+update_param_names_2 = ["downsample"]
+update_param_names_3 = ["fc.weight", "fc.bias"]
+update_param_names_4 = ["bn"]
+update_param_names_5 = ["downsample.1.weight"]
+update_param_names_6 = ["conv1.weight"]
+update_param_names_7 = ["bn1.weight","bn1.bias"]
+# パラメータごとに各リストに格納する
+for name, param in net.named_parameters():
+    print(name)
+    if update_param_names_1[0] in name:# layer:conv
+        if update_param_names_2[0] in name:# downsample:conv
+            param.requires_grad = False
+            print("勾配計算なし。学習しない：", name)
+        else:
+            param.requires_grad = True
+            params_to_update_1.append(param)
+            print("params_to_update_1に格納：", name)
+    elif name in update_param_names_6:
+        param.requires_grad = True
+        params_to_update_2.append(param)
+        print("params_to_update_2に格納：", name)
+    elif name in update_param_names_7:
+        param.requires_grad = True
+        params_to_update_2.append(param)
+        print("params_to_update_2に格納：", name)
+    elif name in update_param_names_3:# fc:conv
+        param.requires_grad = True
+        params_to_update_3.append(param)
+        print("params_to_update_3に格納：", name)
+    elif name in update_param_names_4:
+        param.requires_grad = False
+        print("bn: 勾配計算なし。学習しない：", name)
+    else:
+        param.requires_grad = False
+        print("勾配計算なし。学習しない：", name)
+# 最適化手法の設定
+# 1e-4 = 1*10^-4 , 5e-4 = 5*10^-4
+optimizer = optim.Adam([
+    {'params': params_to_update_1, 'lr': 1e-4},
+    {'params': params_to_update_2, 'lr': 1e-4},
+    {'params': params_to_update_3, 'lr': 1e-3}
+])
 ```

画像を入れ、コードを入れました。

2020/11/29 00:20

投稿

tomomina

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,3 +1,161 @@
 Pythonを使って深層学習を勉強している初心者です。
 resnet101を用いて、ファインチューニングを行いたいと考えています。前処理として、手元にある画像サイズ640×480を、画像サイズ、224×224に変更する必要があります。画像は、音をスペクトログラムにしたものです。そのため、横軸に時間、縦軸に周波数、色は信号の強さを表しており、リサイズを行った場合、画像にある情報が潰れてしまいます。これを避けるために、前処理で画像サイズを変更しない方法や画像にある情報を潰さずに済む方法がありましたら、教えていただけると助かります。
+スペクトログラム
+![イメージ説明](c191adbfc061c54ab2b034ac04d4e9f2.jpeg)
+スペクトログラムを224×224にリサイズし、色情報の規格化を行った画像。
+![イメージ説明](544101676c87bb4ca658275f2dbeb5bc.png)
+```Python
+# 入力画像の前処理をするクラス
+# 訓練時と推論時で処理が異なる
+class ImageTransform():
+    """
+    画像の前処理クラス。訓練時、検証時で異なる動作をする。
+    画像のサイズをリサイズし、色を標準化する。
+    訓練時はRandomResizedCropとRandomHorizontalFlipでデータオーギュメンテーションする。
+    Attributes
+    ----------
+    resize : int
+        リサイズ先の画像の大きさ。
+    mean : (R, G, B)
+        各色チャネルの平均値。
+    std : (R, G, B)
+        各色チャネルの標準偏差。
+    """
+    def __init__(self, resize, mean, std):
+            self.data_transform = {
+                'train': transforms.Compose([
+                    transforms.Resize((224,224)),
+                    #transforms.RandomHorizontalFlip(),  # データオーギュメンテーション
+                    transforms.ToTensor(),  # テンソルに変換
+                    transforms.Normalize(mean, std)  # 標準化
+                ]),
+                'val': transforms.Compose([
+                    transforms.Resize((224,224)),
+                    transforms.ToTensor(),  # テンソルに変換
+                    transforms.Normalize(mean, std)  # 標準化
+                ]),
+            }
+    def __call__(self, img, phase='train'):
+        """
+        Parameters
+        ----------
+        phase : 'train' or 'val'
+            前処理のモードを指定。
+        """
+        return self.data_transform[phase](img)
+# 訓練時の画像前処理の動作を確認
+# 実行するたびに処理結果の画像が変わる
+# 1. 画像読み込み
+image_file_path = './data/rockk.00000.jpg'
+img = Image.open(image_file_path)   # [高さ][幅][色RGB]
+# 2. 元の画像の表示
+plt.imshow(img)
+plt.show()
+# 3. 画像の前処理と処理済み画像の表示
+size = 224
+mean = (0.485, 0.456, 0.406)
+std = (0.229, 0.224, 0.225)
+transform = ImageTransform(size, mean, std)
+img_transformed = transform(img, phase="train")  # torch.Size([3, 224, 224])
+# (色、高さ、幅)を (高さ、幅、色)に変換し、0-1に値を制限して表示
+img_transformed = img_transformed.numpy().transpose((1, 2, 0))
+img_transformed = np.clip(img_transformed, 0, 1)
+plt.imshow(img_transformed)
+plt.show()
+```