datetimeをJSONでserializableできない問題

Question

下記のエラーがでます、datetimeをどうJSONでおくればよいのでしょうか？

raise TypeError("Object of type '%s' is not JSON serializable" %
>                       o.__class__.__name__)
E       TypeError: Object of type 'datetime' is not JSON serializable

def test_events(app):
    path = '/v1/events'
    payload = {
	"all_id": "all_id",
	"events": [
		{
			"type": "followed",
			"re_id":8990,
			"module_": "id001",
			"time_":datetime(2018, 8, 24, 20, 7, 17)
		},
		
	]
}

    _header = "001_1:001"
    headers = {'Authorization': 'Basic %s' % _header}

    with app_made_events.test_request_context(path,
                                              method="POST",
                                              headers=headers,
                                              content_type='application/json',
                                              data=json.dumps(payload)) as req:

        func = _events(req.request, _id="_id001")
        res = jsonify({'message': 'error', 'result': 201}), 201
        assert res[0].json == func[0].json
        assert res[1] == func[1]

＊追記

上記コードは、自分で試してたどり着いたコードであり、本来の問題は、isoformatでjsonを送れないという問題でつまづいていました。 "time_":"2014-09-24T19:14:53.000Z",のようにJSONに記述してpostリクエストを送る場合です。

ただ、それを実行するとsqlalchemy.exc.StatementError: (builtins.TypeError) SQLite DateTime type only accepts Python datetime and date objects as input. というエラーで怒られてしまいます。

python側の受け取り方はこのようなコードです。

def parse_datetime(datetime_string):
    if datetime_string is not None:
        dt = parse(datetime_string)

        if dt.tzinfo is not None and dt.tzinfo.utcoffset(dt) is not None:
            print(datetime_string+" is aware.")
            return dt.astimezone(timezone('UTC')).strftime("%Y-%m-%d %H:%M:%S")
        else:
            print(datetime_string+" is native.")
            return dt.strftime("%Y-%m-%d %H:%M:%S")
    return None

start_time = parse_datetime(events.get("_time"))

datetimeをserializeできれば、この問題を解決できるかと思いご回答頂きましたが、下記でご教示頂いたやり方を実行してみましたが、上記のようなエラーがででpythonで受け取れないようです。

何かtips頂けませんでしょうか？

＊補足

datetime_string

日付のstringオブジェクト"2014-09-24T19:14:53.000Z"が入る。
UTCのタイムゾーンの持つawareな日付

dt = parse(datetime_string)

datetime.datetime(2014, 9, 24, 19, 14, 53, tzinfo=tzutc())
stringオブジェクトをUTCのタイムゾーンを持つdatetimeオブジェクトにパースする

「UTC（協定世界時）」とは、世界各地の標準時を決めるときの基準となる「世界標準時」のことです。たとえば日本の標準時（JST）は「UTC」よりも 9時間進んでいるため「UTC+09:00」と表示されます。

if dt.tzinfo is not None and dt.tzinfo.utcoffset(dt) is not None:

datetimeがタイムゾーンをもっているかどうか、つまりawareな日付かnativeな日付かどかをチェックする

dt.tzinfo

出力結果：
tzutc()

dt.tzinfo.utcoffset(dt)

出力結果：
datetime.timedelta(0)

dt.tzinfo.utcoffset(dt)は、UTCとの差とローカルな時間(例えば、JTC、日本時間)との差がどれだけあるかどうかを出力。今回は、UTCのタイムゾーンを持つ日付との差分をだしているため、0と出力されている。

(Pdb) p dt.astimezone()
datetime.datetime(2014, 9, 25, 4, 14, 53, tzinfo=datetime.timezone(datetime.timedelta(0, 32400), 'JST'))

(Pdb) p timezone('UTC')
<UTC>

(Pdb) p dt.astimezone(timezone('UTC'))
datetime.datetime(2014, 9, 24, 19, 14, 53, tzinfo=<UTC>)

dt.astimezone()は、ローカルの時間に変換するのため、JSTの時間で8時間ぐらいの差が出力結果にある。
今回は、UTCで最終的には出力したいため、timezoneでUTCになおして出力する。

return dt.astimezone(timezone('UTC')).strftime("%Y-%m-%d %H:%M:%S")

datetime.datetime(2014, 9, 24, 19, 14, 53, tzinfo=<UTC>)は、
データベースに入った後は、マイクロ秒まではいってします。
2014-09-24 19:14:53.000000|

ここで、問題、.strftime("%Y-%m-%d %H:%M:%S")はマイクロ秒を落とすためにstringオブジェクトになおして整形している。しかし、データベースのモデル定義は、datatimeであるため、insertすることができない。

以下、２つの方法を探る必要がある。
方法１：データベースのモデルをマイクロ秒までいれないように何か定義をし直すことができるかを探る。
方法2: datetimeのまま、整形できるような関数や方法を探る。

＊日付に関わる役立つURL

https://torina.top/detail/338/
https://uxmilk.jp/12626
https://qiita.com/takaki@github/items/b1a380a0a644170f5885
https://docs.python.org/ja/3/library/datetime.html
https://qiita.com/takaki@github/items/b1a380a0a644170f5885

Comments

[退会済みユーザー]

表題＆最初の質問の話と違ってきてませんか？　「datetime 型を JSON に変換」（シリアライズの問題）が最初の質問で、それが逆になって「JSON に変換された文字列から datetime 型に変換」（デシリアライズの問題）という話になっているようです。一つのスレッドでは一つの課題としていただけると幸いです。

[sequelanonymous]

はい、そうですね。ご指摘ありがとうござます！このまま話しを繋げた方が直接の解決策が得られるのではないかと思い同じスレッドで質問しました。以後、そうします。

Answer 1

JSON の紹介（URL 下記）よると、その記事に書いてある value に直接設定できるのは string, number, object, array, true, false, null だけということですので、JavaScript の Date オブジェクトや .NET Framework の DateTime オブジェクトは string に変換して JSON 文字列に設定せざるを得ません。

JSON の紹介
http://www.json.org/json-ja.html

変換は自力で行わなくても、例えば、JavaScript なら JSON.stringify() メソッド、.NET Framework なら DataContractJsonSerializer クラスを利用すれば自動的に変換してくれます。

Pyton とかは全く知りませんが、そのような手段は使えませんか？

Comments

[sequelanonymous]

string型にするのはやりましたが、今度はSQLite Datetime type only accept Python datetime and date objects as input と言われ怒られてしまいます。

[退会済みユーザー]

それは質問で問題としていた datetime を JSON に変換する話ではなくて、受け取った JSON の中の当該項目を文字列のまま SQLite に渡すからエラーになるという話ですよね。であれば、Python で受け取った文字列を datetime に変換してから SQLite に渡せばいいのでは？

Answer 2

タイムスタンプを取得しては？
とりあえず現状のエラーは解消するかと。

>>> dt = datetime.now()
>>> dt
datetime.datetime(2018, 9, 14, 18, 47, 16, 873233)
>>>
>>> json.dumps(dt)
Traceback (most recent call last):
  ...
TypeError: Object of type 'datetime' is not JSON serializable
>>>
>>> ts = dt.timestamp()
>>> ts
1536918436.873233
>>>
>>> json.dumps(ts)
'1536918436.873233'

datetime.fromtimestampを使えば簡単に元に戻せますし。

Comments

[sequelanonymous]

上記、追記しましたが、それだと別のエラーがでてしまいます、質問で最初に記載しておけばよかったです、すみません。もし、上記の問題についてご存知でしたらご教示頂けませんでしょうか？

[LouiS0616]

start_time = parse_datetime(events.get("_time")) の行で例外が発生しているのですか？

[sequelanonymous]

parse_datetime関数内の.strftime("%Y-%m-%d %H:%M:%S")で日付から文字列になおして返してるのが根本的な問題だというのがわかりました。上記、追記しました、わかるようでしたら、教えて頂きたく思います。

[LouiS0616]

> ここで、問題、.strftime("%Y-%m-%d %H:%M:%S")はマイクロ秒を落とすためにstringオブジェクトになおして整形している。しかし、データベースのモデル定義は、datatimeであるため、insertすることができない。

datetimeのままDBに放り込んで、利用時にマイクロ秒以下を無視すれば良い話では？

[LouiS0616]

どうしてもマイクロ秒が邪魔なら datetime.replace(microsecond=0) しても良いです。

[sequelanonymous]

> datetimeのままDBに放り込んで、利用時にマイクロ秒以下を無視すれば良い話では？
私もそれではいいのではないかなと思いまいした。

やってみたらできました。
>>> datetime.datetime.now()
datetime.datetime(2018, 9, 17, 2, 26, 8, 296385)
>>> dt = datetime.datetime.now()
>>> dt
datetime.datetime(2018, 9, 17, 2, 26, 17, 769127)
>>> dt.replace(microsecond=0)
datetime.datetime(2018, 9, 17, 2, 26, 17)
>>>

ありがとうございます！

Answer 3

そのまま送ることは不可能なので、JSONで取り扱えるフォーマットにしてください。

安直なのはUNIX時間とか、ISOフォーマットとか。

>>> import datetime
>>> import json
>>> d = datetime.datetime.now()
>>> d
datetime.datetime(2018, 9, 14, 18, 40, 20, 837702)
>>> s = json.dumps({"unixtime":d.timestamp()})
>>> s
'{"unixtime": 1536918020.837702}'
>>> datetime.datetime.fromtimestamp(json.loads(s)["unixtime"])
datetime.datetime(2018, 9, 14, 18, 40, 20, 837702)
>>> s = json.dumps({"unixtime":d.isoformat()})
>>> s
'{"unixtime": "2018-09-14T18:40:20.837702"}'
>>> datetime.datetime.strptime(json.loads(s)["unixtime"], '%Y-%m-%dT%H:%M:%S.%f')
datetime.datetime(2018, 9, 14, 18, 40, 20, 837702)

Comments

[sequelanonymous]

ISOフォーマットで本来は、送ろうと思っていましたが、上記追記したように別のエラーがでてしまいます。
どう対処すべきかご存知でしたら教えて頂けませんでしょうか？