最小二乗法による近似プログラムの誤りをご指摘いただきたいです

Question

3次元点群（7000個程度）に対して曲面近似を行いたく、最小二乗法のプログラムを作成しました。
25次まで元のサイズを維持したままプロットできるのですが、26次以上にすると正しくプロットできません。

複数のブログ①②などを参考に独自に作成したのですがつまづいてしまい、ご助力いただきたいです。

また、その他3次元点群の形状の近似方法があればご提案頂けますと幸いです。

#汎用次元フィッティング関数
def func(param,x,y,z):
    sum = np.zeros_like(y)
    for i,j in zip(range(0,Degree-1,2),reversed(range((Degree+1)//2))):
        if j == 0:
            break
        else:
            sum = sum + np.array(param[i] * z ** (j)) + np.array(param[i+1] * y ** (j))
    residual = x - sum-param[Degree-1]
    return residual

# 次数の指定とパラメータの作成
Degree = 25　#例
param = [0] * Degree

# 最小二乗法を実装
optimised_param =  optimize.least_squares(func, param, args=(x, y, z))

#導出したパラメータによる近似式の実装
f=np.zeros_like(y)
for i,j in zip(range(0,Degree-1,2),reversed(range((Degree+1)//2))):
    f = f + optimised_param.x[i]*z**j + optimised_param.x[i+1]*y**j
f= f+optimised_param.x[Degree-1]

生データ・25次の近似データ・26次の近似データをプロットしたグラフが以下です。

Answer 1

多分ですが、誤りではなくオーバーフィッティングが起きています。
近似させる目的にもよりますが、点群データの簡素化であればmeshlabでできます。滑らかにしたり補完したりいろいろな処理を、PythonでもGUIでも操作することもできるので、こういうのも検討してはいかがでしょうか？

Comments

[fana]

> オーバーフィッティング

どうなんでしょう？
生データ（青）　と　26次(緑)　を見比べると，そもそもうまく当てはまっていないようにも見えませんか？
（緑の「プロット」のサンプリングが全然足りなくて関数形状をまともに見れていないという可能性もあるかもしれませんが）

（「誤差」がどうなったかを確認すべきかな）

[8c8]

回答いただきありがとうございます。
pymeshlabをその他の作業で用いていますので、簡素化等も検討致します。
３Dモデルのメッシュデータの座標値なので誤差はないものと考えています。

[fana]

「誤差」というのは，データ点と当てはめ結果の関数との間の距離のこと．
（要は，「当てはまってるの？」っていう．）

[退会済みユーザー]

> そもそもうまく当てはまっていない
赤色のはきれいにフィッティングできているようですが、緑の26次フィッティングはやりすぎかなぁとも思います。こういうのはせいぜい2～3次くらいのイメージでしたので…。
(私ならたぶんmeshlabで点群を間引いて満足するか、間引いた点群にそこそこのフィッティングをして満足しそうです)

[fana]

【関数の形状は一見して変な感じに見えるけども，全データ点（に極めて近い位置）は通ってるんですよ】ならばオーバーフィッティングだろうけども，
【26次の緑の形状は青のデータ点位置を通っていない】ように見えるから「そもそもうまく当てはまっていない」んじゃないかと．

でも上記は，単一のプロット結果を見た感じでの判断でしかないから，
実際にどうなのか（相応に当てはまってはいるのか）を確認するために「誤差」の値を見ることから始めれば？　っていう．

目的関数（＝誤差評価関数）を最小化する作業をしてるんだから，せめて最終的な目的関数値くらいは見るべき．
26次の値が「よく当てはまった結果である25次での値」と同等程度（またはそれより小さい）であればオーバーフィッティングだと判断でき，
26次側の値がよろしくない（でかい）ならフィッティングがうまく行ってないのだと判断できるのではあるまいか．

[8c8]

補足いただきありがとうございます。
パラメータを出力し比較したところ、プロットできなくなった次元の関数から切片が急激に小さく（ほぼ０）なっておりました。

[fana]

Why don't check the residuals ?

[fana]

まぁ，現状を調査しようがしまいがそれは自由ですけど，私が書いている話の　意図　を述べておく：

「プログラムの誤りをご指摘いただきたいです」という話に対して，この回答は「オーバーフィッティングだ」と述べている．
これはすなわち「 **プログラムは誤っておらず**，得られた結果は正当な結果である」という意味だ．

しかし，もしも「オーバーフィッティングでない」のであれば，**プログラムには誤りが含まれている可能性がある** ということになる（よね？）．

これは話の根幹に関わる事柄だから，　どっちなのだろうか？　という切り分けの調査結果を提示することで話が進み得る（その情報を鑑みての意見や回答を誰かから得られる可能性もあるだろうし，あるいはあなた自身が問題の原因を掴むことに繋がり得る）のではなかろうか？　と．

Answer 2

その他3次元点群の形状の近似方法があればご提案頂けますと幸いです

その点群データを見た感じだと，

第3主成分軸方向を「高さ」と見なした Height Field 的な形で扱えそうに見えるので，
例えば，第1,2主成分軸方向を２次元座標軸とした世界でグリッド的にサンプリング→パラメトリック曲面を作る

みたいな話が考えられるかな，と思います．

Comments

[8c8]

何度も対応して頂き本当にありがとうございます。事情により方針を変更しなければならなくなりましたので、ベストアンサーとさせていただきます。