統一性の無い欠損値を処理する方法

Question

前提・実現したいこと

以下のようなDataFrameにおいて、Precipitation列に存在する欠損値を処理しようとしています。欠損値は統一された表記がなされておらず、「NaN」「-9999」「欠測」「欠損」のように様々です。
このように統一性の無い欠損値を上手く処理する方法はないでしょうか？
最終的には線形補間を行いたいと考えています。

df.head()

#     datetime	     Precipitation
#2012-07-01 01:00:00	0.0
#2012-07-01 02:00:00	0.0
#2012-07-01 03:00:00	0.0
#2012-07-01 04:00:00	1.0
#2012-07-01 05:00:00	0.0

df.dtypes

#Precipitation    object
#dtype: object

経緯

そもそもPrecipitation列をfloat型に変換しようとしたところ、

df['Precipitation'] = df['Precipitation'].apply(lambda x: x.astype('float64'))

#ValueError: could not convert string to float: '\u3000\u3000\u3000欠測'

このようなエラーが発生してしまい、元のデータを確認してみたら様々な形式の欠損値が判明したというのが現在までの経緯です。replaceで全てのパターンを置換するという力業でなんとかしている状態なので、もっとスマートな方法が無いものかと考えています。

Answer 1

例外発生に任せた力業とも言えなくはないですが、引数をfloatに変換しようとしてエラーになったらNaNに挿げ替えてしまう関数をapplyすれば良いかと考えます。

import sys
import numpy as np
import pandas

NaN = np.nan

def try_astype(x):
    try:
        return float(x)
    except:
        return NaN

# テストデータ
l = [1,1.5,0.12345,'欠損','欠測']
df = pandas.DataFrame(l,columns=['Precipitation'])
print(df['Precipitation'].apply(try_astype))

Comments

[raurau4471]

エラー発生を逆に利用してしまうという発想は無かったです、ありがとうございます！