複数の時刻書式をpandasで読み込む方法

Question

エクセルを元に作成されたcsvファイルを読み込み、pandasのpd.to_datetimeを使ってdatetime型に変換するスクリプトを作ろうと思っています。ただ、エクセルの保存方法の変更により、以下のファイル1、2のように時間表記に揺れが発生しています。

このとき、それぞれの時間書式に応じてto_datetimeのスクリプトをif分で分けたいと思っているのですが、現在の書式を判定する方法は何を使ったらいいのでしょうか？

len(df['月日'][0])で判定することを考えたのですが、別の似た書式が入ってきたときにエラーになると思ったので、今の書式方法を識別できる判定をしたいと考えています（その意味で、if文で分けなくても変換できる方法があれば教えていただけないでしょうか？）。

---

ファイル1

月日	時分	Value
4月1日	8:40:00	1
4月1日	8:40:10	3

---

ファイル2

月日	時分	Value
2020/10/1	8:55	1
2020/10/1	8:56	2

*秒記載がないが、00秒とみなして問題ない。

---

# ファイル1を読む処理
df = pd.read_csv('file1.csv')

if ...: # ここで的確に判定したい（他の書式が来ても誤分類されないようにしたい）
    df.index = pd.to_datetime(df['月日']+'/' + df['時分'], format='%Y/%m/%d/%H:%M:%S')
elif ...:
    df.index = pd.to_datetime(...)

Answer 1

以下のように、to_datetimeのオプションでerrors='coerce'を入れることで、フォーマットエラーが発生したらna値がセットされます。あとは、fillnaでnaの箇所だけ次のフォーマットを試してみる、ということを繰り返します。データフレームの行単位でフォーマットが違う、フォーマットが3種類以上ある、といった状態でも、これを応用することで対応可能です。

import pandas as pd
import io

file1 = '''
月日 時分 Value
4月1日 8:40:00 1
4月1日 8:40:10 3
'''

file2 = '''
月日 時分 Value
2020/10/1 8:55 1
2020/10/1 8:56 2
'''

df = pd.read_csv(io.StringIO(file1.replace(' ', ',')))
#df = pd.read_csv(io.StringIO(file2.replace(' ', ',')))

year = 2020
df['日時'] = pd.to_datetime(
    df['月日'] + ' ' + df['時分'] , errors='coerce')
df['日時'] = df['日時'].fillna(pd.to_datetime(
    f'{year}年' + df['月日'] + ' ' + df['時分'],
    format='%Y年%m月%d日 %H:%M:%S', errors='coerce'))

print(df)
#     月日       時分  Value                  日時
#0  4月1日  8:40:00      1 2020-04-01 08:40:00
#1  4月1日  8:40:10      3 2020-04-01 08:40:10

Comments

[MagMag]

なるほど、そういう手があるのですね。ありがとうございました！