最急降下法を実問題(単目的・多変数)に適用するやり方

Question

勾配降下法(最急降下法、SGD、ミニバッチSGD)の基本的な概念は理解している(つもり)の者です。
最急降下法を利用して、下記のような問題を解くアルゴリズムを作りたいと思っています。

ーーー
入力変数：p1,p2…pn ※n=20~30くらい
目的変数：s1

入力変数を設定すると、s1を返すシミュレータ(未知のブラックボックス関数)があります。
①このsimに、最大100個程度の条件を投入して、pとs1のデータを収集する。
②その結果を基に、最急降下法を利用して、s1が最小化されるであろうp1,p2…の値を知る⇒①に戻る
ーーー

勾配降下法について調べると、色々な情報や実装サンプルが目にできますが、いずれも関数を定義しているものばかりで、
未知の関数のときに、初期値以外にどのような周辺データを収集すればいいのか、どう微分すればいいのかが理解できませんでした。

初心者で、質問自体がずれている可能性もあるかもしれませんが、ご回答いただけますと幸いです。

Comments

[jbpb0]

> どのような周辺データを収集すればいいのか

ベイズ最適化は、自動的に次の探索点を決めてくれます
https://tellmoogle.hatenablog.com/entry/cokehigh_bayesian_optimization
https://arabica-jyuku.com/post-7822/

[pariparigorilla]

コメントありがとうございます。ベイズ最適化は、入力変数が10を超えると計算量がかなり重くなると聞いたことがあり、本問題では30程度の入力変数を扱うことが多いので、検討から外しておりました。

Answer 1

n次元のパラメタ空間において，
現在位置 ( p1,p2, ..., pn ) から，
ベクトル ( ∂s1/∂p1, ∂s2/∂p2, ..., ∂s1/∂pn ) の方向に適当なステップ幅だけ移動する

→ここで，∂s1/∂p1 みたいなやつらは適当な差分近似を用いる

という操作を繰り返せばよいのではないでしょうか．
（「適当なステップ幅」って誰がどう決めるんだよ？っていうのはありますが）

Comments

[pariparigorilla]

ご回答ありがとうございます。
その場合、現在位置 (p1,p2, ..., pn) の他に、現在地からごく微小な値をずらしたパラメータセットも投入するのでしょうか？
(p1＋ε,p2, ..., pn)
(p1,p2＋ε, ..., pn)
・・・
(p1,p2, ..., pn＋ε)
のようなデータ収集が必要でしょうか？

[fana]

「前進差分」（とか言うのかな？）であれば，おそらくそんな感じになるんじゃないでしょうか．

---

目的関数の形状自体が不明であるとか，パラメタに関して微分不可能な場所があるとかいう場合，
私は
Nelderらの滑降シンプレックス法( downhill simplex method ）を用いたりしています．
https://ja.wikipedia.org/wiki/%E3%83%8D%E3%83%AB%E3%83%80%E3%83%BC%E2%80%93%E3%83%9F%E3%83%BC%E3%83%89%E6%B3%95

[pariparigorilla]

滑降シンプレックス法と言うのは初めて知りました。
特徴やアルゴリズムを少し拝見しましたが、こちらの問題に適していそうと感じました。
まずは、前進差分？の勾配降下法でやってみて、効果が出なかったら検討してみようかと思います。
勉強になりました。ありがとうございます。