グラフの凸凹を取りたい

Question

前提・実現したいこと

時系列データ処理に関する質問です。前処理としてグラフの飛び出た部分を取り除きたいです。とがった部分のデータを除去する方法はありますでしょうか。フィッティングなどで滑らかにするのではなく、該当データを消去していただきたいです。なお滑らかに見える部分も正規分布に従うノイズが含まれています。

処理前

処理後

補足情報（FW/ツールのバージョンなど）

理想

python 3.8.8

Comments

[ishina_yum]

そもそもとして、勝手な基準でデータを切り捨てて良いんでしょうか？
自分に都合の悪いデータは消してしまうというのは「データをでっちあげる」行為です。

何のデータをどのような目的で使うのかも分からないのに、誰も適切な基準や方法なんて示せませんよ。

Answer 1

「なお滑らかに見える部分も正規分布に従うノイズが含まれています」とのことですので、グラフは何かを代表する値を使っているのですよね？ ということは前処理をしているはずですから、そのときに外れ値を省くようにすればいいのではないでしょうか？ 外れ値の判定は標準偏差でも四分位でもいいでしょう。、

Comments

[cream_puff]

ご回答ありがとうがとうございます。
測定の結果、上記のデータが得られたとします。測定データなので誤差は正規分布に従うと仮定しました。このとき得られたデータをどのように処理すればいいでしょうか？