質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.91%

Pandasで日付シリアル値が混在する列をDatetime型に変更する方法

解決済

回答 3

投稿

  • 評価
  • クリップ 2
  • VIEW 7,299

score 21

 解決したいこと

特定の列を、Datetime型に変換したい。

 現在の状況

あるEXCELデータをPandasで読み込み、データフレームに変換しました。

以下はデータフレームの一部です。

itemID 発送日 売上
233 2018-04-10 00:08:55 2000
234 2018-04-10 00:08:56 3000
236 42279 3000

(実際は、100万行*15列のデータフレーム)

"日付"列を、DatetimeIndexに型変換しようとしたところ

df["発送日"] = pd.to_datetime(df["発送日"])

ValueError: mixed datetimes and integers in passed array

となります。

特定の行を調べたところ、

**2018-04-10 00:08:55
**
のようなタイプの値と、

**42729(日付シリアル値)
**
が混在していることがわかりました。

 教えていただきたいこと

  • 100万行の中から、日付シリアル値になってしまってる範囲を特定し
  • 日付シリアル値をyyyy:mm:dd 00:00:00 のタイプに戻す

方法をアドバイスいただけませんでしょうか。

何卒よろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

0

とりあえず、こんな感じで変換できました

import pandas as pd


df = pd.DataFrame({
    'itemID':[233,244,236,237],
    '発送日':["2018-04-10 00:08:55",
              "2018-04-10 00:08:56",
              41516,
              '42780'],
    '売上げ':[2000, 3000, 3000, 3000]
})

# データが数値型かどうか判定
is_serial_value = df['発送日'].astype('str').str.isdigit()
# 数値型の箇所をDateTime型に変換
tmp1 = pd.to_timedelta(df.loc[is_serial_value, '発送日'].astype('float'), unit='D') + pd.to_datetime('1900/01/01')
# 文字列の箇所をDateTime型に変換
tmp2 = pd.to_datetime(df.loc[~is_serial_value, '発送日'])
# 結合して置き換え
df['発送日'] = pd.concat([tmp1, tmp2])
print(df)
#0     233  2000 2018-04-10 00:08:55
#1     244  3000 2018-04-10 00:08:56
#2     236  3000 2013-09-01 00:00:00
#3     237  3000 2017-02-16 00:00:00

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/25 14:34

    なるほど、少数表記のデータもあるのですね・・。
    数値型か文字列(日付データ)データかの判定を str.isdigit() を使っているのですが、これは少数を判別できないので少数のデータが文字列型と判別されているのがエラーの原因でしょうね。

    キャンセル

  • 2018/10/25 14:37

    とりあえず、あまりスマートではありませんが
    is_serial_value = df['発送日'].astype('str').str.replace('.','',1).str.isdigit()
    とやって "." を消して isdigit() に入れるというのはどうでしょう。(指数表記だと駄目ですけど)
    時間が空いたらあとからちゃんと考えます

    キャンセル

  • 2018/10/25 15:17

    ご回答ありがとうございます。
    ご回答頂いた方法で、試してみます。
    お忙しい中、ありがとうございます。

    キャンセル

0

df["発送日"] = pd.to_datetime(df["発送日"])
ではなく、
df.loc[:,"発送日"].applymap(to_dt)
でto_dt内で日付変換、以下の感じ
to_dt = lambda s: datetime.strptime(s, '%H:%M:%S') if 条件 else s

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/24 17:42

    アドバイスありがとうございました!

    キャンセル

0

その文字列が整数に変換できればシリアル値として日付を算出、datetimeに変換、
そうでなければ日付の文字列としてdatetimeに変換

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/24 17:42

    アドバイスありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.91%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る