matlab 最適化

Question

前提・実現したいこと

matlabで制約付きの最小二乗法を解きたいと思っています．
制約付きの最小二乗法は以下のようなものです．

matlabの関数であるlsqlinなどを用いて解けるのでしょうか．
ご教授お願いします．

状況

ridge制約付きの最小二乗法は微分できることからすぐできたのですが，
lasso制約付きの場合，微分ができないこともありどう解けるのかわかりません．

Answer 1

もっとも安直な方法は、新たな変数を導入してomegaのl1ノルムを新しい変数の和で書く方法です.
制約付き２次計画法におとせるので、quadprogが使って解くことができます。

具体的には次のとおりです。
t,sを新しい変数とします。
等式制約を導入します。
omega = t - s
t>=0
s>=0
これにより ||omega||_1 = sum(t) + sum(s)
と線形和でかけます。
新しい変数は, omega, t s です。

---

大規模でも計算が実行できて、かつ実装が簡単な方法はADMMです。ADMMのアルゴリズムは単純ですが、全部理解するには近接写像に関する知識が必要です。

---

すぐ試せる方法は, Statistical and Machine Learning toolbox の lasso関数に放り込むことです。

Comments

[kakikukekonbu]

ADMMのアルゴリズムを用いるのがすぐ試せそうです．ありがとうございます．
解きたい式と与える変数の対応は，今回の場合どのようになるのでしょうか．

[WathMorks]

式：”前提・実現したいこと”に書かれた式
変数：omega

[kakikukekonbu]

B = lasso(X,y)
B = lasso(X,y,Name,Value)
[B,FitInfo] = lasso(___)
matlabのlasso関数は上記のように表されると思うのですが，
B＝ω，X=Xb , y=Xaという対応関係でよろしいのでしょうか

[WathMorks]

質問の定式化はomegaを横ベクトルと見ているので、lassoの入出力との関係は
y =Xa', X = Xb', B = omega'
となります。

[kakikukekonbu]

全て転置させるということでよいでしょうか．

[kakikukekonbu]

．