pythonからmysqlへのインサート（datetimeの問題)

Question

pythonからmysqlのデータ入力に関する質問です。

使用環境
ubuntu 20.02 LTS
python 3.10
mysql 8.0.29(ubuntuの中でdockerで作成）

状況
1 ubuntu から python mysql.connectorでsqlに接続、データを取得

cur.execute("SELECT Time `**_log` WHERE 1";)
  log = cur.fetchall()

入手した**logは

(id, datetime.datetime(2022, 7, 3, 0, 1, 43), 'IP_address')

となっています。

2 python pandasでデータ処理

new = pd.read_csv(**_log, engine='python', header=None)

で読み込むと、カラムのデータ型が、「datatime.datatime」から「datetime64[ns]」に勝手に変わる。
その後、pandasでデータ処理

3 再度、ubuntu からsqlに処理済みのデータをインサート

list = new2.to_numpy().tolist() 
cursor.executemany("INSERT INTO **_test (Time,IP) VALUES (%s, %s)", list)
conn.commit()

を行うと、
mysql.connector.errors.ProgrammingError: Failed processing format-parameters; Python 'timestamp' cannot be converted to a MySQL type
が出て、インサートできません。
テーブルのTimeの型は、datetimeにしており、他のテーブルとの整合性もあり、timestampにはしたくありません。

色々と調べたところ、「datetime64[ns]」は'timestamp'として認識されるようなのですが、これを'datetime'に戻す方法がわかりません。

ほかに、df.to_sqlを用いる方法もあるようですが、私の環境では接続できませんでした。

何か良い方法はありませんか？

Answer 1

pandas.Series.dt.to_pydatetimeを使うとよいかと思います。
参考：Converting between datetime, Timestamp and datetime64

import pandas as pd

df = pd.DataFrame({'Time':['2022-07-01 01:02:03','2022-07-02 02:03:04'], 'IP':['172.24.1.0','127.0.0.1']})
df['Time'] = pd.to_datetime(df['Time'])
print(df)
#                 Time          IP
#0 2022-07-01 01:02:03  172.24.1.0
#1 2022-07-02 02:03:04   127.0.0.1

new2 = df[['Time','IP']]
times = new2['Time'].dt.to_pydatetime()

# 以下のようにSeriesに入れるとdatetime64に戻ってしまう？のでダメ
#new2['Time'] = new2['Time'].dt.to_pydatetime()
#times = new2['Time'].values.tolist()

ips = new2['IP'].values.tolist()
lst = list(zip(times,ips))
print(lst)
# [(datetime.datetime(2022, 7, 1, 1, 2, 3), '172.24.1.0'), (datetime.datetime(2022, 7, 2, 2, 3, 4), '127.0.0.1')]

Comments

[Masa_2994]

大変助かりました。
これで今日は帰れそうです。