ダミー変数について,固定された列をしようしたい

Question

前提・実現したいこと

pythonのpandasでダミー変数を作成したい。
tensorflowを使ってJリーグの観客数を予測しようとしているのですが、入力値としてnumpy.arrayを使いたいためダミー変数化する必要がある部分があります。
データはあるサッカーの試合の（日付、対戦チーム名、天気、スタジアム、...観客数）からできているのですが、対戦チームをそのまま入力にはできないためダミー変数を使いたいです。

ダミー変数はサッカーのチーム名なのですが、訓練用データと検証用データで含まれるチームが異なりデフォルトのget_dummy()では二つのデータで列数が変わってしまいtensorflowで学習させれないです。

そこで、例えばですがチーム名のリスト[A,B,C,...Z]の２６チームですべてのチームを網羅しているとして、訓練データ、検証用データ両方ともにこの列で分類しようとしていますが方法がわかりませんでした。

発生している問題・エラーメッセージ

なし

該当のソースコード

python

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

別解です。

列データを固定化しようという質問の意図にはこちらの方法の方が近いかもしれません。

データの型をCategory型にすることで、選択できる値や順番等を設定できますので、これを使うことで列データを固定化できます。

以下サンプルです。

import pandas as pd
from pandas.api.types import CategoricalDtype

# 適当なデータ
train = pd.DataFrame({'Team':['A','B','C','E']})

# Teamのカテゴリデータを作成
team_cat = CategoricalDtype(categories= ['A','B','C','D','E','F','G'], ordered=False)

train['Team'] = train['Team'].astype(team_cat)

print(pd.get_dummies(train))
#   Team_A  Team_B  Team_C  Team_D  Team_E  Team_F  Team_G
#0       1       0       0       0       0       0       0
#1       0       1       0       0       0       0       0
#2       0       0       1       0       0       0       0
#3       0       0       0       0       1       0       0

Comments

[kimtakuya]

回答ありがとうございます。
trainとtestを結合する案も良さそうなのですが、さらに外部のチームが挿入されうることを考えるとカテゴリー型の利用が良いのかもしれません。とても助かりました。

Answer 2

データの規模にもよりますが。
TrainデータとTestデータを一度結合した状態で特徴エンジニアリングのフェーズを行い、学習前に再度分割すると処理を行うとよいのではないでしょうか。

import pandas as pd

# 適当なデータ
train = pd.DataFrame({'Team':['A','B','C','E']})
test = pd.DataFrame({'Team':['A','B','D','F','G']})

# 結合する（一応フラグを付けるが大抵はTargetの有無で判別できる）
train['isTrain'] = True
test['isTrain'] = False
df = pd.concat([train, test])

# ダミー変数を生成
df = pd.get_dummies(df)

#再度分離
train = df.loc[df.isTrain].drop('isTrain', axis=1)
test = df.loc[~df.isTrain].drop('isTrain', axis=1)
print(train)
#   Team_A  Team_B  Team_C  Team_D  Team_E  Team_F  Team_G
#0       1       0       0       0       0       0       0
#1       0       1       0       0       0       0       0
#2       0       0       1       0       0       0       0
#3       0       0       0       0       1       0       0
print(test)
#   Team_A  Team_B  Team_C  Team_D  Team_E  Team_F  Team_G
#0       1       0       0       0       0       0       0
#1       0       1       0       0       0       0       0
#2       0       0       0       1       0       0       0
#3       0       0       0       0       0       1       0
#4       0       0       0       0       0       0       1