一つの列に入ってる値を別々の列にしたい

Question

df

	id	like
0	1	2
1	1	4
2	12	6
3	12	7
4	12	8
..
19998	19912	200
19999	1441	90
20000	1441	91

変更後

||id|1|2|3|4|5|6|7|8|...|90|91|...|200|
|:--|:--:|--:|
|0|1|0|1|0|1|0|0|0|0|...|0|0|...|0|
|1|12|0|0|0|0|0|1|1|1|...|0|0|...|0|
|2|...|...|||||
|3|...|...|||||
|4|...|...|||||
|...|1441|0|0|0|0|0|0|0|0|...|1|1|...|0|
|...|...|...|||
|...|...|...|||
|1000|19912|0|0|0|0|0|0|0|0|...|0|0|...|1|

としたい（カラム名は適当）

likeカラムを.astype(str)した後

dummy = pd.get_dummies(df['like'])

pd.concat([df, dummy], axis=1)とする方法を考えたのですが、

その後df.groupby('id')を利用して統合したいのですがどうしたらよいかわかりません。

他の方法があればご教授いただきたいです。

Comments

[jeanbiego]

コードと、できればサンプルデータを出来ているところまで記載してください。

Answer 1

データフレームの変形を考えるのではなく、
ゼロ配列を用意した後に、like列をインデックスとして1を入れたほうが速いですね。

import pandas as pd
import io

txt = """
id,like
1,2
1,4
12,6
12,7
12,8
19912,200
1441,90
1441,91
"""
df = pd.read_csv(io.StringIO(txt))
#       id  like
# 0      1     2
# 1      1     4
# 2     12     6
# 3     12     7
# 4     12     8
# 5  19912   200
# 6   1441    90
# 7   1441    91

このとき、

import numpy as np

code, unq = df['id'].factorize(sort=True)
like = df['like'].to_numpy()
arr = np.zeros((unq.size, like.max()+1), dtype=np.int8)
arr[code, like] = 1
out = pd.DataFrame(arr, index=unq)

out
#        0    1    2    3    4    5    6    7    8    9    10   ...  190  191  192  193  194  195  196  197  198  199  200
# 1        0    0    1    0    1    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0
# 12       0    0    0    0    0    0    1    1    1    0    0  ...    0    0    0    0    0    0    0    0    0    0    0
# 1441     0    0    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0
# 19912    0    0    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    1

Comments

[hachiroku]

段違いに処理が早いですね。ありがとうございます！

Answer 2

import pandas as pd
import io

txt = """
id,like
1,2
1,4
12,6
12,7
12,8
19912,200
1441,90
1441,91
"""

df = pd.read_table(io.StringIO(txt), sep=",")
like_max = df['like'].max()
s = df.groupby('id')['like'].apply(list)
dic = {i: [int(j in s[i]) for j in range(1, like_max + 1)] for i in s.index}

dfn = pd.DataFrame(dic).transpose()
dfn.index.name = 'id'
dfn.rename(columns=lambda x: x + 1, inplace=True)
print(dfn)

       1    2    3    4    5    6    7    8    9    10   11   12   13   14   15   16   17   ...  184  185  186  187  188  189  190  191  192  193  194  195  196  197  198  199  200     
id                                                                                          ...
1        0    1    0    1    0    0    0    0    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0     
12       0    0    0    0    0    1    1    1    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0     
1441     0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0     
19912    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0  ...    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    0    1     

Comments

[hachiroku]

参考にさせていただきます。ありがとうございます！

Answer 3

ちょっと手順が複雑になってしまったので各行にコメントを入れてあります。
id列をインデックスとすることでid列を維持したままダミー変数を作成する方法です。

import pandas as pd
from io import StringIO

s1 = '''id,like
1,2
1,4
12,6
12,7
12,8
19912,200
1441,90
1441,91'''
# id列をインデックスでDataframeを作成
df = pd.read_csv(StringIO(s1), index_col=0)

# 列作成のためlikeの最大値を取得する
max_val = max(df['like'])

df['like'] = df['like'].astype(str)
# dummy変数作成
dummy = pd.get_dummies(df['like'])
# インデックス(id列)をグループで最大値を求める
dummy = dummy.groupby(level=0).max()
# id列をデータ列に戻す
dummy = dummy.reset_index()

# 列名がid、1～200まで持つダミーDataframeの作成
adf = pd.DataFrame([[-1] + ['0' for i in range(1, max_val + 1)]],
    columns=['id'] + [str(i) for i in range(1, max_val + 1)])

# ダミーDataframeを結果Dataframeを結合する
df_concat = pd.concat([adf, dummy])
# 欠損地を'0'に変換
df_concat = df_concat.fillna('0')
# id列が-1（ダミー）の行を削除
df_concat = df_concat[df_concat['id'] != -1]

print(df_concat)
'''
      id  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20  ... 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200
0      1  0  1  0  1  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  ...   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
1     12  0  0  0  0  0  1  1  1  0  0  0  0  0  0  0  0  0  0  0  0  ...   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
2   1441  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  ...   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
3  19912  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  ...   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   1

[4 rows x 201 columns]
'''

Comments

[hachiroku]

丁寧に解説していただいてありがたいです。参考にさせていただきます。

Answer 4

groupbyのあと、maxで集計すればいいのではないでしょうか。

pd.get_dummies(df['like']).groupby(df['id']).max()

他にはpivot, pivot_tableを使ったやり方もあると思います。

追記

カラムを連番で埋めたい場合は、最後にreindexすればいいです。

import numpy as np

pd.get_dummies(df['like']).groupby(df['id']).max().reindex(columns=np.arange(1, df['like'].max() + 1), fill_value=0)

Comments

[hachiroku]

実データは連番ではないのではないのでこちらのやり方が使えそうです。
連番で埋める方法と分けて回答してくださりありがとうございます。参考にさせていただきます。