DataFrameをLinearRegressionに適用する方法

Question

データをLogisticRegressionに学習させようとしたところ、エラーが出てしまいました。
以下に学習データとデータ型とエラーメッセージを記載します。

おそらくobject型はLinearRegressionに適用できないことが原因だと思っているのですが、
Pandasのobject型の年月日をLinearRegressionでも適用できる型にエンコーディングする方法を
ご教示いただけないでしょうか。

#学習データの最初の5行
print(X_train.head())

#学習データの中身出力
   row_id  building_id  meter            timestamp  site_id primary_use  \
0       0            0      0  2016-01-01 00:00:00        0   Education   
1       1            1      0  2016-01-01 00:00:00        0   Education   
2       2            2      0  2016-01-01 00:00:00        0   Education   
3       3            3      0  2016-01-01 00:00:00        0   Education   
4       4            4      0  2016-01-01 00:00:00        0   Education   

   square_feet  year_built  floor_count  air_temperature  cloud_coverage  \
0         7432      2008.0          NaN             25.0             6.0   
1         2720      2004.0          NaN             25.0             6.0   
2         5376      1991.0          NaN             25.0             6.0   
3        23685      2002.0          NaN             25.0             6.0   
4       116607      1975.0          NaN             25.0             6.0   

   dew_temperature  precip_depth_1_hr  sea_level_pressure  wind_direction  \
0             20.0                NaN              1019.7             0.0   
1             20.0                NaN              1019.7             0.0   
2             20.0                NaN              1019.7             0.0   
3             20.0                NaN              1019.7             0.0   
4             20.0                NaN              1019.7             0.0   

   wind_speed  
0         0.0  
1         0.0  
2         0.0  
3         0.0  
4         0.0  

#学習データの型
print(X_train.dtypes)

#学習データの型出力
row_id                  int64
building_id             int64
meter                   int64
timestamp              object
site_id                 int64
primary_use            object
square_feet             int64
year_built            float64
floor_count           float64
air_temperature       float64
cloud_coverage        float64
dew_temperature       float64
precip_depth_1_hr     float64
sea_level_pressure    float64
wind_direction        float64
wind_speed            float64
dtype: object

#LinearRegressionモデルの構築
model=LinearRegression()
model.fit(X_train,y_train)

#エラー
ValueError: could not convert string to float: '2016-01-01 00:00:00'

よろしくお願いいたします。

Comments

[nandymak]

timestamp列は説明変数として必要でしょうか？同じ値が続くのであれば列を削除しては如何ですか？

[peperoncino]

コメントありがとうございます！
最初の５行は同じ値になっておりますが、異なる値も出現します。
timestampはテスト用データにも使用されている変数なので、まずは削除しない方向で考えています。

[nandymak]

timestamp列が時系列的に入っているのであれば、日付が新しくなる方向に重みが付くので削除した方が、成績が良くなるのではと考えました。

timestamp列以外にもobjectの列や、NaNの列は前処理で処置しないとエラーの発生や、精度が上がらないかと思います。

Answer 1

object型の年月日をLinearRegressionでも適用できる型にエンコーディング

もし timestamp 列に格納されているデータが python のdatetime型であれば、次のようにすることで、float型に変換して dataframe に再代入することができます

import datetime
X_train['timestamp'] = X_train.timestamp.map(datetime.datetime.timestamp)

なぜfloat型にしたのかというと、提示いただいているこのエラーを参考にしました

ValueError: could not convert string to float: '2016-01-01 00:00:00'

ただ、この変換で望んだ学習結果が得られるのかどうかはわかりません。
精度を上げるためには、更なる変換や正規化などが必要になる可能性も考慮しておいた方がよいでしょう。

nandymakさんがおっしゃるように、削除した方が精度が上がる可能性もありますね。

Comments

[peperoncino]

アドバイスいただき、ありがとうございます！
ご教示いただいたコードを実行したところ、以下のようなエラーが出ました。
これについては、まだ自分も調べられていないので、まずは事例など探してみようと思います。

TypeError: descriptor 'timestamp' requires a 'datetime.datetime' object but received a 'str'

クレンジングの精度としては、まだ相当甘い段階ではありますが、
timestampはテスト用データにも使用されている変数なので、まずは削除しない方向で考えています。

[siruku6]

どうやら、timestamp列に格納されていたのは、datetime型ではなく、str型だったようです。

なので、上記の処理を施す前に
str -> datetime の変換をかけてあげる必要がありそうです。

---

補足
strであれば、word2vec などで数値ベクトル化する方向もなくはないと思いますが、私がその方向には疎いため、解説は他の方に委ねたいと思います

[peperoncino]

以下コードにてstr→datetime→float型に変換し、timestamp列でのエラーが解消されました！

X_train["timestamp"]=pd.to_datetime(X_train["timestamp"],infer_datetime_format=True)
X_train["timestamp"]=X_train.timestamp.map(datetime.datetime.timestamp)

timestampのデータ型も出力しました。

timestamp float64

ご丁寧に説明していただき、ありがとうございました！

[siruku6]

解決策を見て、私が説明しなくても一人で解決できそうな力をお持ちに感じました。
これからも自信をもって開発に取り組んでいって下さい。