機械学習のDataFrameのカラム差分の埋め方

Question

とあるDataFrameの前処理を行っています。

ダミー変数化を行った際、

trainX.shape (1721, 179)
testX.shape (313, 149)

となり差分カラムが30ありました。

解決したいこと
・30のカラムが何なのか？を一覧でしたいりたい
・30のカラムをtestXに追加し、0を挿入したい

です。

Comments

[tiitoi]

ダミー変数化は trainX, testX に分ける前に行うべきではないでしょうか
最初からデータが分かれている場合は一旦結合してダミー変数化してから、再度分割すればよいかと思います。

[ookawa443]

元データで
学習用と検証用でデータありました。

結合部分（indexや行番号）（表現が間違っていたらすいません）を把握しておき、また分割する。
問題なければtrain_test_splitで分割処理をしてしまう。

とかでしょうか？

[tiitoi]

それでいいと思います。
未加工の状態であれば、列の数は同じはずなので、pd.concat で行方向に結合してからダミー変数化し、再度 train_test_split で分割すればよいかと思います。

http://sinhrks.hatenablog.com/entry/2015/01/28/073327

[ookawa443]

初期スタートを間違えた感じですね・・・
ありがとうございます。

[ookawa443]

コメントが「回答」でないけど大丈夫でしょうか？

[tiitoi]

回答のほうにサンプルコードを記載しました。

Answer 1

結合してからダミー変数化して、再度分割するサンプルを以下に記載しました。

コード

import pandas as pd
from sklearn.model_selection import train_test_split

train = pd.DataFrame({"A": [1, 2, 3], "B": ["x", "y", "z"]})
test = pd.DataFrame({"A": [1, 2, 3], "B": ["x", "y", "t"]})

# 行方向で結合する。
merged = pd.concat([train, test])
print(merged)
#    A  B
# 0  1  x
# 1  2  y
# 2  3  z
# 0  1  x
# 1  2  y
# 2  3  t

# 列 B をダミー変数化
merged = pd.get_dummies(merged, columns=["B"])
print(merged)
#    A  B_t  B_x  B_y  B_z
# 0  1    0    1    0    0
# 1  2    0    0    1    0
# 2  3    0    0    0    1
# 0  1    0    1    0    0
# 1  2    0    0    1    0
# 2  3    1    0    0    0

# 学習データ、テストデータに分ける。
train, test = train_test_split(merged, test_size=0.2)
print(train)
#    A  B_t  B_x  B_y  B_z
# 2  3    0    0    0    1
# 1  2    0    0    1    0
# 0  1    0    1    0    0
# 1  2    0    0    1    0
print(test)
#    A  B_t  B_x  B_y  B_z
# 0  1    0    1    0    0
# 2  3    1    0    0    0

参考文献

• Python pandas 図でみる データ連結 / 結合処理 - StatsFragments