欠損値に平均値を代入する

Question

実現したいこと

'horsepower'は馬力のデータが入っている変数なのですが、df_train.info()を実行すると、object型ということでした。元データを見てみると、?というデータが9件入っていました。

?を欠損値(NaN)に変えて、欠損値に平均値を代入したいと考えています。

私がやったこと

1. ?を欠損値に置き換える

df_train['horsepower'].isnull().sum()

で欠損値の件数を調べたら0件でした。

いずれにしても?は邪魔なので、NaNにするために

df_train['horsepower'] = df_train['horsepower'].replace('?', np.nan)

を実行して?をNaNに変換することができました。

df_train.isnull().sum()

を実行して得られた件数は?の件数と同じく9件でした。

2. 欠損値に平均値を代入する

以前学習したpythonの教材で、欠損値(NaN)を平均値に置き換えるために下のコードを見つけました。

sample_data_frame.fillna(sample_data_frame.mean())

sample_data_frameをこの分析で使用しているファイル名df_trainに変えて、次の実行しました。

df_train['horsepower'] = df_train['horsepower'].fillna(df_train['horsepower'].mean())

を実行したところ

TypeError: can only concatenate str (not "int") to str

というエラー出てしまいました。str数値データのなかにNaNが混ざっているデータ構成は教材でも見かけるのにエラーになってしまいます。

dtypesで'horsepower'を調べたら、

dtype('O')

という結果が返ってきました。

どこを誤っているのでしょうか。

Comments

[melian]

前回の質問の続きだとすれば、df_train['horsepower'] は str 型なのではないでしょうか。

[BunkeiDX]

melianさん、コメントありがとうございます。str型ではないようです。欠損値に置き換え後にdtypesで調べたら、dtype('O')が返ってきました。

[melian]

dtype('O') ということは Python Object という事ですので、ｓｔｒ 型の可能性もあり得ます。

[BunkeiDX]

melianさん、コメントありがとうございます。元データを見る限り,?のデータ以外は数値なのです。原因を究明したいのですが、そういう時は?を99999のようなあり得ない数字にして、平均値を当てはめるというようなやりかたを皆さんしているのでしょうか。

[melian]

その様な場合、私は pd.to_numeric() を使っています。

df_train['horsepower'] = pd.to_numeric(df_train['horsepower'], errors='coerce')

これで数字(文字列)を数値(int や float)に変換します。

[BunkeiDX]

melianさん、コメントありがとうございます。

float64になりました。

[BunkeiDX]

melianさん、欠損値処理もできました。どうもありがとうございました。

Answer 1

melianさんのお陰で欠損値処理できました。

過程を記録します。

• 馬力を表す変数'horsepower'の中に?が9件混ざっていました。その他は数字です。
• この時の'horsepower'の型はObjectです。
• Object型を数値データにするために、次のコードを実行しました。

df_train['horsepower'] = pd.to_numeric(df_train['horsepower'], errors='coerce')

• ?を欠損値にするために次のコードを実行しました。

df_train['horsepower'] = df_train['horsepower'].replace('?', np.nan)

• 欠損値に平均値を代入するために、次のコードを実行しました。

df_train['horsepower'].fillna(df_train['horsepower'].mean())

df_train['horsepower'].describe()

で確認したら、件数が491件でした。欠損値処理ができたと思ったのですが、欠損値のままでした・・・。