pythonで日付の生データを前処理したいです。

### 前提・実現したいこと

コード

ここに質問の内容を詳しく書いてください。
（例）PythonでCSVファイルから、取り込んだデータを分析するための前処理として、試行錯誤していますが、なかなか、できません。データ分析の８割の時間が前処理に使われるとは聞いていましたが、本当ですね。
各値を19-1-1と言うものから、2019-01-01もしくはリストとして、(2019, 01, 01)と言うようにして、分析しやすい形にしたいのです。

■■な機能を実装中に以下のエラーメッセージが発生しました。
＜コードです＞

発生している問題・エラーメッセージ

⑴
ValueError: time data 19-1-1 doesn't match format specified
⑵
KeyError: '治療日'

エラーメッセージ

該当のソースコード

⑴
df_3['日付'] = pd.to_datetime(customer_data2019_0_1_1_df['治療日'],format='%Y-%m-%d')
df_3

⑵
customer_data2019_5 = pd.DataFrame(customer_data2019_0_1_df_2.dropna())
df_4['日付'] = pd.to_datetime(customer_data2019_5['治療日'],format='%Y-%m-%d')
df_4

ソースコードpython

試したこと

３日グーグルで、以下の検索を試みなんのもここに書ききれないほど調べました。サイトも２０個は見て見たのですが、おそらく、リストやデータフレイムとシリーズなどの形式や型などの基本的な知識がおぼつかないと言う、自分自身の問題が一番なのかもしれません。

関数を打ち込めば、なんとかなって来たチュートリアルが終わったばかりの自分としては、かなり精神的に疲れてしまいましたが、話に聞いていた、通り、壁からなかなか抜け出せないで困っています。

よろしければ何卒、お力のほどお貸しいただければ幸いです。

Python リスト分割 - Google Search
python ある文字で区切るリスト内
19-1-1 変換
python 汚い日付
19-1-1 2019-01-01 変換
python ある文字で区切る
Python 日付、時刻の処理

本でも、前処理大全、と言う本を購入して、この生のデータを触る前に読みました。この本はSQL、Rとpythonによる前処理の方法として、いろんな方法があったのです。そこで、本の中に書いてあった、コードを打ってもやはり同じエラー文が出たりして、途方に暮れています。

補足情報（FW/ツールのバージョンなど）

Macを使っています。pythonのバージョンはほぼ最新なはずです。

行動規範の内容に同意します

回答2件

ベストアンサー

恐らく悩んでる理由の一つはこれですね。

python
1df_3['日付'] = pd.to_datetime(customer_data2019_0_1_1_df['治療日'],format='%y-%m-%d')

年が二桁の場合のフォーマットは大文字の%Yではなく小文字の%yを指定します。

追記
\u3000は全角スペースですね。
取込のやり方に問題がある可能性もありますが、
とりあえず置換で除去する方法です。

python
1#全角スペース除去
2customer_data2019_0_1_1_df['治療日'] = customer_data2019_0_1_1_df['治療日'].replace('\u3000','', regex=True)
3
4df_3 = pd.DataFrame()
5df_3['日付'] = pd.to_datetime(customer_data2019_0_1_1_df['治療日'],format='%y-%m-%d')
6df_3

投稿2020/08/07 02:13

編集2020/08/07 03:22

yureighost

総合スコア2183

Songzhi_George

2020/08/07 03:01 編集

こんなにも早いメッセージありがとうございます。変な名前が多くて見辛くて申し訳ありません。変えて試して見たところ df_3['日付'] = pd.to_datetime(customer_data2019_0_1_1_df.dropna()['治療日'],format='%y-%m-%d') df_3 ValueError: time data '\u3000\u3000\u3000\u3000\u3000\u3000\u3000' does not match format '%y-%m-%d' (match) 何か変な値が入っていたようなので、もう一度念のため、欠損ちとその値をのぞいて見たところ、また何か、変な値が入っている？みたいで、空白でもないと思うのですが、これは何をいっているのでしょうか？ df_6 = customer_data2019_0_1_1_df.dropna() df_6['治療日'] = df_6['治療日'].str.rstrip('\u3000\u3000\u3000\u3000\u3000\u3000\u3000') df_7['日付'] = pd.to_datetime(df_6['治療日'],format='%y-%m-%d') df_7 ValueError: time data '' does not match format '%y-%m-%d' (match)

Songzhi_George

2020/08/07 06:24

追記またもや、お返事ありがとうございます。コードを試して見たところ、同じようなエラーが返ってきて、他の方に教えてもらった、.unique()を使って、中身を見て見たところ、確かに''これがあったので、なんとかして、これを決して、また実行して見たいと思います。また、取り込み方から、また見返して見たいと思います。ありがとうございます。！

行動規範の内容に同意します