pandas DataFrame における indexでの参照について

Question

###原因と対策、アドバイスをお願いします。

下記の手順において
DataFrameの作成の際にnumpy.datetime64でdate列を作成すると
NaTがあるrowはpandas._libs.tslib.Timestampに変換されてしまうため
indexの参照時にKeyErrorが発生してしまう。

なぜ NaTがあるrowがpandas._libs.tslib.Timestampnに変換されるのでしょうか？
変換されないようにするにはどうしたらよろしいでしょうか？
または、indexに複数の型が混在する下記の状況でもnp.datetime64で参照できる方法はありますか？

よろしくお願いします。

###発生している問題・エラーメッセージ

KeyError: numpy.datetime64('2017-07-19T14:24:07.000000000')

###該当のソースコード

データ作成

import numpy as np
import pandas as pd

dates = [
    np.datetime64('2014-11-09 10:00:00.000000000')
    , np.datetime64('2015-11-09 10:00:00.000000000')
    , np.datetime64('2016-11-09 10:00:00.000000000')
    , np.datetime64('2017-07-19 14:24:07.000000000')
]

prices = [
    2000
    , 1900
    , 1800
]

df = pd.DataFrame([dates, prices], ['date', 'price']).T

date price
0 2014-11-09T10:00:00.000000000 2000
1 2015-11-09T10:00:00.000000000 1900
2 2016-11-09T10:00:00.000000000 1800
3 2017-07-19 14:24:07 NaT

type(df.date[0])  #出力 numpy.datetime64
type(df.date[3]) #出力 pandas._libs.tslib.Timestamp

date列をindexに設定

df = df.set_index('date')

date
2014-11-09T10:00:00.000000000 2000
2015-11-09T10:00:00.000000000 1900
2016-11-09T10:00:00.000000000 1800
2017-07-19 14:24:07 NaT

indexで参照

df.ix[dates[0]] #出力  price    2000
                #        Name: 2014-11-09T10:00:00.000000000, dtype: object

df.ix[dates[1]] #出力 KeyError: numpy.datetime64('2017-07-19T14:24:07.000000000')

###補足情報(言語/FW/ツール等のバージョンなど)
python: 3.5.3
pandas: 0.20.1
anaconda: 3-2.4.0

Answer 1

たぶんこのように記述すると大丈夫かと思います。

import pandas as pd
import numpy as np

dates = [
    np.datetime64('2014-11-09 10:00:00.000000000'),
    np.datetime64('2015-11-09 10:00:00.000000000'),
    np.datetime64('2016-11-09 10:00:00.000000000'),
    np.datetime64('2017-07-19 14:24:07.000000000')
]

prices = [2000,1900,1800]

df = pd.DataFrame({'date':pd.Series(dates), 'price':pd.Series(prices)})
df = df.set_index("date")
print(df)

---

【補足】

質問のように、４行目のみ型が違う原因は、DataFrame 作成の際に
一度

df = pd.DataFrame([dates, prices], ['date', 'price'])

とした後に、Tで転置してためかと思います。

Pandas では列毎に型が決まるため、上記のように記述すると、
datetime64型のデータとint64型のデータが同じ列にいる為に、型がobject型に変換されてしまいます。ところが４行目（この時点では４列目）だけはint64型のデータが存在しない為、この行だけdatetime64型のままでデータが保存されることとなります。

Comments

[ultraman]

ご回答ありがとうございます。

せっかくご回答いただいたのですが、
最初のdf作成は　pd.io.sql.read_sql() 　によりDBより読み込み作成しています。
（再現しやすいようにコードでの作成として質問しました。）

このため、アドバイスいただいたように
df = pd.DataFrame({'date':pd.Series(dates), 'price':pd.Series(prices)})
とすることができません。

DBで読み込んだ際にNaTがあるrowに対して型が変換されてしまっています。

[magichan]

とりあえず、このような現象になる原因を補足として追記しました。

[magichan]

sqlからの取り込みはあまり経験がないのですが、結局 datetime型をdatetime型のまま、列データに取り込むことが出来れば、問題は起こらないということです。

[magichan]

すみません。難しく考えてました。

set_index() 実行の前に

df['date'] = df['date'].astype(np.datetime64)

で型変換してあげると問題が解決するかもしれません。

[ultraman]

いろいろ情報ありがとうございます。

教えていただいた補足をヒントに何とか解決できました。

しかも、astypeで変換する方法もありましたね。

とても助かりました。