質問編集履歴
2
参考のURLを追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,11 +1,19 @@
|
|
|
1
1
|
ResNet、EfficientNetなどの既存の事前学習されたモデルを別のタスクでファインチューニングして用いて精度比較を行う研究がたまにあります。
|
|
2
2
|
|
|
3
|
-
この際、全てのモデルで学習率などのパラメータを統一して精度を出し、比較をしていることが度々ありました。
|
|
3
|
+
この際、全てのモデルで学習率などのパラメータを統一して精度を出し、比較をしていることが度々ありました[*注1]。
|
|
4
4
|
|
|
5
5
|
しかし、適切な学習率等の値はモデルのアーキテクチャごとに異なるのではないのでしょうか？
|
|
6
6
|
|
|
7
|
-
最適なパラメータに合わせることなしにモデル間の精度の比較をしてもどのモデルが
|
|
7
|
+
最適なパラメータに合わせることなしにモデル間の精度の比較をしてもどのモデルがタスクに適しているのかは見えてこないように思うのですがどうなのでしょうか？
|
|
8
|
+
|
|
9
|
+
転移学習元のモデルを変えても最適な学習率は変わらないという仮定は一般に使用可能なのでしょうか？
|
|
8
10
|
|
|
9
11
|
|
|
10
12
|
|
|
11
|
-
（ただ質問投稿後に他の文献見てると、モデル間で最適な学習率の違い
|
|
13
|
+
（ただ質問投稿後に他の文献見てると、モデル間で最適な学習率の違いがあんまりなさそうな結果[*注2]が出ていたので心配は杞憂なのかもしれませんが。）
|
|
14
|
+
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
注1:[例1](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7667011/)、[例2](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6775068/)
|
|
18
|
+
|
|
19
|
+
注2:[参考](https://openreview.net/pdf?id=B1g8VkHFPH)（Figure 4）
|
1
文章の不明確なところを修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1 +1,11 @@
|
|
|
1
|
-
ResNet、EfficientNetなどの既存の事前学習されたモデルを別のタスクでファインチューニングして用いて精度比較を行う研究がたまにあります。
|
|
1
|
+
ResNet、EfficientNetなどの既存の事前学習されたモデルを別のタスクでファインチューニングして用いて精度比較を行う研究がたまにあります。
|
|
2
|
+
|
|
3
|
+
この際、全てのモデルで学習率などのパラメータを統一して精度を出し、比較をしていることが度々ありました。
|
|
4
|
+
|
|
5
|
+
しかし、適切な学習率等の値はモデルのアーキテクチャごとに異なるのではないのでしょうか？
|
|
6
|
+
|
|
7
|
+
最適なパラメータに合わせることなしにモデル間の精度の比較をしてもどのモデルが良いのかは見えてこないように思うのですがどうでしょうか？
|
|
8
|
+
|
|
9
|
+
|
|
10
|
+
|
|
11
|
+
（ただ質問投稿後に他の文献見てると、モデル間で最適な学習率の違いはあんまり違うわけではなさそうなのかなと思ったのでそんな心配は杞憂なのかもしれませんが。）
|