【Pandas】to_datetime()を使用して、文字列をdatetime64型（Timestamp型）に変換したい

Question

Python初心者で大変恐縮ではございますが、to_datetime()の使い方で困っております。

現在、以下に示すような文字列'date'（いずれの列もobject型（各要素は文字列str型））をpandas.to_datetime()関数を使用して、datetime64型（Timestamp型）に変換使用としているのですが、下記に示すエラーが出てしまい、何故か変換することが出来ません。

dataflame

   　　　             date
0　	2018/10/01 00:00:01
1　	2018/10/01 00:00:01
2　	2018/10/01 00:00:01
3　	2018/10/01 00:00:01
4　	2018/10/01 00:00:01
　　　　　　・
　　　　　　・

code

df['date'] = pd.to_datetime(df['date'], format='%Y/%m/%d %H:%M:%S')
df

error

TypeError: --> 303 values, tz = tslib.datetime_to_datetime64(arg)
ValueError: --> 3 df['date'] = pd.to_datetime(df['date'], format='%Y/%m/%d %H:%M:%S')
ValueError: time data ' ' doesn't match format specified

これは文字列のどこかに' 'が含まれてしまっているから、指定のフォーマットでは読み込めない、ということなのでしょうか？

詳しい方、ご教授頂けますと幸いです。

Comments

[8524ba23]

codeとerrorにて、formatに相違があるようです。
codeでは「format='%Y/%m/%d %H:%M:%S'」
errorでは「format='%Y/%m/%d'」
どちらを指定していますか？

[beathacker]

前者です！ご指摘ありがとうございます。
修正しておきます。

Answer 1

これは文字列のどこかに' 'が含まれてしまっているから

はい。以下にて同様エラー再現しましたので、どこかの行に「' '」が含まれていると思われます。

import pandas as pd
df = pd.DataFrame({'date':['2018/10/01 00:00:01',"' '"]})
df['date'] = pd.to_datetime(df['date'], format='%Y/%m/%d %H:%M:%S')
"""
Traceback (most recent call last):
（略）
ValueError: time data ' ' doesn't match format specified
"""

Comments

[beathacker]

お返事頂きありがとうございます！
エラーの原因を再現して頂き助かりました。

Answer 2

エラーの原因は can110さんが指摘されている通り、データに ' ' が含まれているからでしょうね。

で、解決策としては、pandas.to_datetime() の引数に errors='coerce' を追加してください。
これを加えることで、無効なデータはNaT に自動的に置き換えられます。
更にformatパラメータですが、この程度のフォーマットであれば自動的に変換ががされますので特殊なフォーマットで無い限り不要かと思います。

ということで、

df['date'] = pd.to_datetime(df['date'], errors='coerce')

にて、例外を発生させることなく動作させることができるのではないでしょうか。

Comments

[beathacker]

無事エラーがなくなりました！
本当にありがとうございます。