pythonの重み付き最小二乗法(WLS)を用いたパラメータの推定

Question

前提・実現したいこと

pythonの重み付き最小二乗法(WLS)を用いて、パラメータの推定を行いたいと思っています。
●観測データ

x = np.array([6, 8, 8.6, 8.7, 11.6, 12.3, 14, 15, 21, 23, 26, 26.4, 26.3, 23.1, 19, 17, 14.5, 13.5, 10, 9, 9.7])
y = np.array([3.7, 3.3, 3.2, 2.8, 2.2, 2.24, 1.8, 1.83, 1.5, 1.36, 1.21, 1.52, 1.3, 1.34, 1.61, 1.41, 1.8, 1.88, 2.11, 2.36, 2.4])

●フィッティングしたい式

 y=((-(a+(0.07*x))) + ((a+((0.07*x)**2)) - (4*0.07*math.log(0.1)))**0.5) / (2*0.07)

推定したいパラメータ→「a」

●問題
・初心者すぎてpythonを使いこなせていない
→いくつかサイトを見ると乱数で観測データを生成しているものがほとんどで、観測データ自体を扱っているものが皆無。そのため、手元のデータをどう扱っていいのか分からない。
・WLSの説明のほとんどが直線回帰
→直線近似でWLSを用いているサイトは見つけたのですが、それをどう非線形に応用すればいいのか全く分かりませんでした。

●主に参考にしているサイト
・https://scipython.com/book/chapter-8-scipy/examples/weighted-and-non-weighted-least-squares-fitting/
・https://medium.com/micin-developers/decipher-github-lr-sw-40e519a13c0a

サイトにあるサンプルは、今のところなんとなく理解できているので、それを変形していただけると、涙が流れるほど嬉しいです。
是非、先生方のお力添えを頂ければと存じます。

何卒宜しくお願いいたします。

Answer 1

今回の場合は、aが代数的に解けて、a=f(x, y)が作れます。

それをもとにx, yの観測値列から、aの配列を計算して、そこから線形回帰で特定のaをフィッティングすれば、よいのではないでしょうか？

Comments

[kikuchiX]

そうしたいところなんですが、先行研究で既にWLSが使用されているため、できればWLSを使用したいと思っているところです

[toast-uz]

「フィッティングしたい式」を求める方法を提示したつもりですが、それではWLSは使用していない、となるのが、少しわかりません。「フィッティングしたい式」は、WLSとは関係ないのですか？

[kikuchiX]

すいません。回答の意味をよく理解しておりませんでした。誠に申し訳ありません。
「フィッティングしたい式」は、WLSとは関係あります。

[toast-uz]

となると、現在の「WLSとは関係ある」回答で、不満足な理由が分かりません。教えてください。

[kikuchiX]

フィッティングによるパラメータ推定に関してあまりにも知識がないので、是非教えていただきたいのですが、先生のご提示していただいている方法で「重み付き最小二乗法」が可能であるという理解で宜しいのでしょうか？普通の最小二乗法ではないのでしょうか？WLSと同じ手法であるのならば、先生の方法を是非使わせていただきたいと思います。
度重なる失礼、お許しください。何卒宜しくお願いいたします。

[toast-uz]

二人称を先生と呼ぶのは、学校か病院か政治家か士業なので、この場では、質問者雑・回答者様・○○様（○○はハンドルネーム）でお願いします。WLSに詳しく無いため、このフィッティングする式を使って普通の解き方をしてWLSになっているのか？と聞きました。そうではないのであれば、WLSの重みを定義するw=w(x, y)が必要な気がします。

[toast-uz]

コメントでの質問回答に対して、その回答でご理解されたのかどうかを明確にしてから、同系統の新規質問を立てていただくと助かります。どこまで理解された状態での新規質問なのか、意図を測り兼ねます。コメント蘭で、○○までは理解したけど、まだ△△が不明なので新規質問を立てます、とか宣言いただくと、意図が理解できて大変助かります。

[kikuchiX]

WLSは通常の最小二乗法に重み1/σ^2を掛ける必要があるのだとわかりました（それすら理解できておりませんでした。）。WLSの重みを定義するに際し、新規に質問を立てたいと思います。

[toast-uz]

「WLSは通常の最小二乗法に重み1/σ^2を掛ける必要がある」というご理解は正確ではないです。「WLSは通常の最小二乗法に一律では無い重みをかける必要がある」が正確であり、y^2/σ^2を掛けているのは私が引用したサイトで取っている方法例です。ちなみにyが入っているので、重みは一律ではありません。

どういう重みが適切であるかは、数値の元となる統計量がどういった分布に従うと仮定しているかに依存しますので、質問者様でないとそれはわかりません。

真のモデルに対して、観測値のばらつきが観測値によらず同じ分散を持つ正規分布である、と仮定しているのか通常の最小二乗法、観測値のばらつきが観測値に依存した分散を持つ正規分布である、と仮定しているのがWLSであり、観測値に依存した分散をどうするかは、プログラミングよりも前の世界の話です。誤差をどう考えるかですので、フィッティングしようとしている式とは関係無いと思います。