pandas: merge, concatでデータ結合した際に、数値がInt型からfloat型になってしまう

Question

pandasを利用してデータフレームを結合した時に、数値がfloat型になってしまいます。

data1 = {
    "id":["100", "101", "102", "103", "104"],
    "birth_day":[1990, 1989, 1992, 1997, 1982],
    "name":["Suguru", "Kouichi", "Satochi", "Yukie", "Akari"]
}

df1 = DataFrame(data1)

data2 = {
    "id":["100", "101", "102", "105", "107"],
    "math":[50, 43, 33, 76, 98],
    "english":[90, 30, 20, 50, 30],
    "sex":["M", "F", "F", "M", "M"],
}

df2 = DataFrame(data2)

df3 = pd.concat([df1, df2],ignore_index=True)
print(df3)

下記のように数値がfloat型になってしまいます。

Int型を保持したまま結合させることにはどのようにしたら良いのでしょうか？
もしくは、再度Int型に戻すにはどのようにしたら良いでしょうか？

下記を試してみましたがNaNが含まれているためか変換できませんでした。。。
df3.assign(birth_day = df3.birth_day.astype(np.int64))

大変稚拙な質問かとは存じますが、ご教示いただけましたら幸甚でございます。
何卒よろしくお願い申し上げます。

Answer 1

原因はこちらに詳しく乗っていますが、NANがもともとnumpyでfloat型(浮動小数点型)になっているためです。なので、concatやmergeされてもNANが存在している関係でfloat型が優先されてしまいます。

https://blog.amedama.jp/entry/2018/05/12/175309

対策ですが、結合した後にDataFrame.fillna()を使ってNANを何らかの数値に変えてからastypeでint型にすれば問題ないです。

Comments

[john_doe_]

ご親切に早速ご教示いただきましてありがとうございます。
やはり、NaNに起因している問題なのですね。。。