Pythonストリームでcsvを読み込みdatetime型変換し転送する際Object of type datetime is not JSON serializableエラーが発生する

Question

前提

S3にアップロードされたcsvを
ストリームで読み込み、型変換してOpensearchへ転送する。
その際、一部の型をintやdatetimeへ変換して転送する必要がある。

問題
datetime変換エラーとなり転送できない

実現したいこと

• ストリームで読み込ん任意の項目をdatetime型に変換したい

取り込むcsv
ヘッダ８個，データ８個

vmanage_host, systemip, hostname , devicemodel, bfdSessionsUp, bfdSessions, dt, IPsecTunnel
vmanageABC, 123.456.789.012, vedgeABC, deviceABC, 99, 999, 2022/1/1 01:01, 123

発生している問題・エラーメッセージ

datetime変換エラーとなり転送できない

[ERROR] TypeError : Object of type datetime is not JSON serializable

該当のソースコード

import boto3
import re
import requests
import csv
import io
from datetime import datetime
from requests_aws4auth import AWS4Auth

#配列(不要指摘→後に削除)
#vmanage_host = []
#systemip = []
#hostname = []
#devicemodel = []
#bfdSessionsUp = []
#bfdSessions = []
#datetime = []
#IPsecTunnel = []


region = '（略）' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

host = '（略）' # the OpenSearch Service domain, e.g. https://search-mydomain.us-west-1.es.amazonaws.com
index = 'lambda-s3-index_test'
type = '_doc'
url = host + '/' + index + '/' + type

headers = { "Content-Type": "application/json" }

s3 = boto3.client('s3')

# Lambda execution starts here
def handler(event, context):
    for record in event['Records']:

        # Get the bucket name and key for the new file
        bucket = record['s3']['bucket']['name']
        key = record['s3']['object']['key']

        # Get, read, and split the file into lines
        obj = s3.get_object(Bucket=bucket, Key=key)
        body = obj['Body'].read()
        textIo = io.TextIOWrapper(io.BytesIO(body))

        skiptext = next(textIo)

        # Match the regular expressions to each line and index the JSON
        for row in csv.reader(textIo):

            print(row)
            vmanage_host = row[0]
            systemip = row[1]
            hostname = row[2]
            devicemodel = row[3]
            bfdSessionsUp = row[4]
            bfdSessions = row[5]
            infgettime = row[6]
            IPsecTunnel = row[7]
            
            print(row[0], row[1], row[2], row[3], row[4], row[5], row[6], row[7]) 

            document = {
                         "vmanage_host ": vmanage_host ,
                         "systemip  ": systemip ,
                         "hostname ": hostname ,
                         "devicemodel ": devicemodel ,
                         "bfdSessionsUp": [int(bfdSessionsUp)],
                         "bfdSessions ": [int(bfdSessions)],
                         "infgettime ": [datetime.strptime(infgettime , `%Y/%m/%d %H:%M`)],
                         "IPsecTunnel ": [int(IPsecTunnel)],
                       }
            r = requests.post(url, auth=awsauth, json=document, headers=headers)

試したこと

【Python】日付時刻・文字列・数値型データの相互変換方法｜datetime・dateモジュールの基本操作入門
https://di-acc2.com/programming/python/22894/#index_id1

を参考に修正したが、いずれも事象解消には至らず。

補足情報（FW/ツールのバージョンなど）

Python3.9

Comments

[melian]

最初に、

vmanageABC, 123.456.789.012, vedgeABC, deviceABC, 1, 2, 3, 2022/1/1 01:01, 123

の行は 9 個の要素がありますが、ヘッダには 8 個のカラムしかありません。
それから datetime というクラス名がバッティングしています。

from datetime import datetime

datetime = [] # コードの先頭部分
datetime = row[6] # for loop 内

for loop 内で使っている datetime(変数名)を変更する必要があります。また、「# 配列」というコメント以降の初期化部分は不要でしょう。

[msy47]

melianさん

ご指摘ありがとうございます。

以下修正いたしました

＞vmanageABC, 123.456.789.012, vedgeABC, deviceABC, 1, 2, 3, 2022/1/1 01:01, 123
＞の行は 9 個の要素がありますが、ヘッダには 8 個のカラムしかありません。

要素は８，ヘッダも８になります。

＞from datetime import datetime
＞
＞datetime = [] # コードの先頭部分
＞datetime = row[6] # for loop 内
＞
＞for loop 内で使っている datetime(変数名)を変更する必要があります。また、「# 配列」というコメント以降の初期化部分は不要でしょう。

変数名を変更しました。

datetime　を　infgettime　へ変更

[8524ba23]

「for row in lines csv.reader(textIo):」行や
「"infgettime ": [datetime.strftime(infgettime , `%Y/%m/%d %H:%M`)]」行などで
構文エラーになるようです。実際のコードと相違はないでしょうか。
さらに上記コードが正しいとしても
infgettime変数はstr型のはずなのでdatetime.strftimeでTypeErrorが発生するはずです。

[msy47]

melianさん

ご指摘ありがとうございます。
転記ミス申し訳ありません。

＞「for row in lines csv.reader(textIo):」行

以下修正いたしました

for row in csv.reader(textIo):

＞"infgettime ": [datetime.strftime(infgettime , `%Y/%m/%d %H:%M`)]

以下修正いたしました

"infgettime ": [datetime.strptime(infgettime , `%Y/%m/%d %H:%M`)]

[melian]

そうなりますと、簡単な対応方法としては json.dumps に default のコンバータを指定することかと思います。以下の様にすると、datetime 型インスタンスを文字列に変換してから requests.post() に渡します。

r = requests.post(url, auth=awsauth, data=json.dumps(document, default=str), headers=headers)

Answer 1

datetime.strptimeの戻り値datetime型はデフォルトではJSON（文字列）化できないので提示エラーが発生しています。
とりあえずstr(datetime.strptime(infgettime , ～))のように明示的に文字列化してやればよいです。

Comments

[msy47]

丁寧迅速な指摘・回答ありがとうございます！
＞JSON（文字列）化できないので提示エラーが発生しています。
こちらについては、Opensearch側か、転送側のロジックで対応するか検討します。。。