pandasでtimestampが正常に読み取れない

Question

pandasのread_csvにてタイムスタンプが正常に読み込めません。
csvファイルの中身のタイムスタンプは整数部分が10桁なのに、read_csv後は9桁になってしまいます。
正常に読み込むためにはどうすればよいのでしょうか？

# test.csv
1572800037.2912545,error

import pandas as pd
import numpy as np

df = pd.read_csv("test.csv", names=("timestamp", "status"))
print(df)   # 1.572800e+09  error
print(pd.to_datetime(df["timestamp"], format='%Y-%m-%d %H:%M:%S.%f'))   # 1970-01-01 00:00:01.572800037

Answer 1

read_csvの引数にdtype=strをつけて文字列として読み込み、浮動小数点として読み込むのを回避するのがよいと思います。

ただ、datetime型への変換ですがdatetime型は秒未満のデータはmillisecondsとして6桁までしか扱えません。
7桁を扱いたい場合は整数部はdatetime型、小数部は自前で・・・といった工夫が必要になります。

Comments

[ramin]

ありがとうございます。
datetimeに変換する過程で色々調べていたらto_datetimeはナノ秒のunixtimeがデフォルトに設定されているようでした。
そのため、タイムスタンプを10^9倍したら変換できました。

Answer 2

to_datetimeはナノ秒のunixtimeがデフォルトに設定されてるようで、タイムスタンプを10^9倍して変換したらできました。
E+9は表示上のみで値は10桁で保持されていました。

import pandas as pd
import numpy as np

df = pd.read_csv("test.csv", names=("timestamp", "status"))
print(df)   # 1.572800e+09  error
print(pd.to_datetime(df["timestamp"]*10**9))   # 2019-11-03 16:53:57.291254528