DataFrameを.to_sqlで保存すると型が勝手に変換されてしまう問題

Question

こんにちは。データベース(mysqlを使用)から

query = 'select * from table'
df = pd.read_sql(query, con=engine)

を使って、dataframeを取得して型変換を行い、保存を行いました。

df["review_num"]=df["review_num"].astype("int16")
df["review_score"]=df["review_score"].astype("int16")
df.to_sql("table",url, if_exists="append", index=False)

しかし、実際にmysqlで型を見てみると

| review_num | double | YES | | NULL | |
| review_score | bigint | YES | | NULL | |

に変換されてしまいました。
bigintやdoubleではなくINTEGERやTINYINTにして保存するにはpython側ではどのように処理するべきでしょうか？型の大きさを小さくして保存したいと思っています。
よろしくお願いいたします。

Answer 1

私も質問で多分同じようなことを投稿しました。
https://teratail.com/questions/u88jge5g5b2qdx

が、リファレンスに書いてありました。
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_sql.html

指定できる型は以下の通りのようです。
https://docs.sqlalchemy.org/en/14/core/type_basics.html

mysqlで対応を確認してみた所

sqlalchemy.types	mysqlでのデータ型
BigInteger	bigint
Integer	int
SmallInteger	smallint

でした。

なので

df.to_sql("table",url, if_exists="append", index=False,dtype={'review_num':Integer,'review_score':SmallInteger,})

といった感じでintやsmallintでテーブルを作成できるかと思います。

Comments

[Tommy_suzuki]

既出の質問でしたか。。見つけれず申し訳ございません。
dtype指定でやってみたら出来ました。ありがとうございました！