pandasでダミー変数を作成したデータを一度にCSVファイルに出力することが出来ずに苦慮しております。

Question

pandasでダミー変数を作成したデータを一度にCSVファイルに出力することが出来ずに苦慮しております。

こちらが、今回のデータセットでございます。

age	sex
20	F
22	M
25	M
27	F
21	F
23	M
37	M
31	F
61	M
45	F
41	F
32	M

こちらが、pandasでダミー変数を作成したソースコードでございます。

# -*- coding:utf-8 -*-

import codecs
import pandas as pd
import numpy as np

f1 = codecs.open('panda_3.csv', 'w', 'utf-8')

# データセットを読み込み
df1 = pd.read_csv("dummy_2.csv" , sep=",")

# 年齢、性別をダミー変数化
dum_1 = pd.get_dummies(df1["age"])
dum_2 = pd.get_dummies(df1["sex"])

print dum_1,dum_2

# ここで、dum_2を 一括して、CSV に出力することが出来ずに苦慮しております！
dum_1.to_csv('panda_3.csv', index=None)

上記のソースコードでは一括して "age","sex"を出力することが出来ません。

目的は、下記のような、CSVファイルの、出力画面にするソースコードを得ることでございます。

20	21	22	23	25	27	31	32	37	41	45	61	F	M
1	0	0	0	0	0	0	0	0	0	0	0	1	0
0	0	1	0	0	0	0	0	0	0	0	0	0	1
0	0	0	0	1	0	0	0	0	0	0	0	0	1
0	0	0	0	0	1	0	0	0	0	0	0	1	0
0	1	0	0	0	0	0	0	0	0	0	0	1	0
0	0	0	1	0	0	0	0	0	0	0	0	0	1
0	0	0	0	0	0	0	0	1	0	0	0	0	1
0	0	0	0	0	0	1	0	0	0	0	0	1	0
0	0	0	0	0	0	0	0	0	0	0	1	0	1
0	0	0	0	0	0	0	0	0	0	1	0	1	0
0	0	0	0	0	0	0	0	0	1	0	0	1	0
0	0	0	0	0	0	0	1	0	0	0	0	0	1

先輩方の御教示、よろしくお願いいたします。

Answer 1

既に解決しているようですが、一応回答いたします。

DataFrameの結合方法は、MasashiKimura さんの書かれている通り pandas.concat() で何ら問題ありません。

ですが、わざわざ列毎にバラバラに処理した後に結合しなくても、pandas.get_dummies() を使用することで、age と sex 両方同時に処理することが可能です。

import pandas as pd

df = pd.DataFrame({"age":[20 ,22 ,25 ,27 ,21 ,23 ,37 ,31 ,61 ,45 ,41 ,32],"sex":["F","M","M","F","F","M","M","F","M","F","F","M"]})

pd.get_dummies(df,columns=["age","sex"]).to_csv("result.csv",index=None)

ですので、もし今後対象となる列が増えるような場合は、こちらを使用した方が良いかと思います。

Column名のPrefixが邪魔な場合は

pd.get_dummies(df,columns=["age","sex"], prefix="", prefix_sep="")

とすると良いかと思います。

Comments

[akakage13]

magichan様、いつも御教示ありがとうございます。
今回も、とても勉強になりました。
今後とも、よろしくお願いいたします。

Answer 2

pd.concat してください。

df2 = pd.concat((dum_1, dum_2), axis=1)
df2
Out[17]: 
    20  21  22  23  25  27  31  32  37  41  45  61  F  M
0    1   0   0   0   0   0   0   0   0   0   0   0  1  0
1    0   0   1   0   0   0   0   0   0   0   0   0  0  1
2    0   0   0   0   1   0   0   0   0   0   0   0  0  1
3    0   0   0   0   0   1   0   0   0   0   0   0  1  0
4    0   1   0   0   0   0   0   0   0   0   0   0  1  0
5    0   0   0   1   0   0   0   0   0   0   0   0  0  1
6    0   0   0   0   0   0   0   0   1   0   0   0  0  1
7    0   0   0   0   0   0   1   0   0   0   0   0  1  0
8    0   0   0   0   0   0   0   0   0   0   0   1  0  1
9    0   0   0   0   0   0   0   0   0   0   1   0  1  0
10   0   0   0   0   0   0   0   0   0   1   0   0  1  0
11   0   0   0   0   0   0   0   1   0   0   0   0  0  1

ただし、このまま使うと、マルチコの問題があるので、
20, と F の列を dropしがほうがよいでしょうね。

df3 = df2.drop(20, axis=1)
df3 = df3.drop('F', axis=1)
df3
Out[30]: 
    21  22  23  25  27  31  32  37  41  45  61  M
0    0   0   0   0   0   0   0   0   0   0   0  0
1    0   1   0   0   0   0   0   0   0   0   0  1
2    0   0   0   1   0   0   0   0   0   0   0  1
3    0   0   0   0   1   0   0   0   0   0   0  0
4    1   0   0   0   0   0   0   0   0   0   0  0
5    0   0   1   0   0   0   0   0   0   0   0  1
6    0   0   0   0   0   0   0   1   0   0   0  1
7    0   0   0   0   0   1   0   0   0   0   0  0
8    0   0   0   0   0   0   0   0   0   0   1  1
9    0   0   0   0   0   0   0   0   0   1   0  0
10   0   0   0   0   0   0   0   0   1   0   0  0
11   0   0   0   0   0   0   1   0   0   0   0  1

Comments

[akakage13]

MasashiKimura様、迅速かつ懇切丁寧な御教示、ありがとうございました。

今後とも、よろしくお願いいたします。