Python DataFrameのセルに複数の値がある場合、その値ごと新しい行にする方法

Question

実現したいこと

DataFrameのセルの中に値が一つある場合と複数ある場合があります。例えばこんな感じです。

Age	Console 1	Console 2	Console3	Console 4
15	PS5	XBox, Wii U	Gameboy	PS2
16	GameCube	PS4, GameBoy Color, PS5	NaN	Xbox 360
17	PS3, PS5	PS4	PS Vita	NaN

最終的にはこのようにしたいのです:

Age	Game Console Combined
15	PS5
15	Xbox
15	Wii U
15	Gameboy
15	PS2
16	GameCube
16	PS4
16	GameBoy Color
16	PS5
16	Xbox 360
17	PS3
17	PS5
17	PS4
17	PS Vita

• ▲▲機能を動作するようにする

該当のソースコード

import pandas as pd
game = r"C:\users\Gamer\Desktop\game.xlsx"
df = pd.read_excel(game)

こちらのエクセルは他にも沢山列があるのですが、割愛致します。

#複数の値がある場合、必ずこのstringがあるので消します　_x000D_\n'
#空白のセルのdtypeは'float'になっているのでstrで変換します。

下記がそのコードです。

df['Console 1'] = df['Console 1'].str.split('_x000D_\n').astype('str').replace('nan', '')
df['Console 2'] = df['Console 2'].str.split('_x000D_\n').astype('str').replace('nan', '')
df['Console 3'] = df['Console 3'].str.split('_x000D_\n').astype('str').replace('nan', '')

#ここでゲームコンソールを一つにまとめるので新しい列 Game Console Combinedを作ります。
df['Game Console Combined'] =  df['Console 1'] + df['Console 2'] + df['Console 3] +df['Console 4] 

print(df['Game Console Combined'][0])
だとこのようにoutputされます。

['PS5']['XBox', 'Wii U']['Gameboy']['PS2']

上記の例だとitemは５つなので、下記のコードで新しい行が５つ作られるかと思ったら作られず
print(df.explode('Game Console Combined').head())

エラーメッセージは出てきません。

試したこと

for console in df['Game Console Combined'].str.split(','):
for type in console:
print(type[1])

これだったら
GameCube
PS4, GameBoy Color PS5

Xbox 360

と出てくるのですが、それでも値が複数あるセルは複数として出てきます。

どうやったら、複数の値があるセルをその値の数だけ行を足し、一つの値があるセルも行に足せるのでしょうか？

Answer 1

df = pd.DataFrame({'Age':[15,16,17],'Console1':['PS5','GameCube','PS3,PS5'],'Console2':['XBox,Wii U','PS4,GameBoy Color,PS5','PS4'],'Console3':['Gameboy',np.nan,'PS Vita'],'Console4':['PS2','Xbox360',np.nan]})
print(df)
#	Age	Console1	Console2	Console3	Console4
#0	15	PS5	XBox,Wii U	Gameboy	PS2
#1	16	GameCube	PS4,GameBoy Color,PS5	NaN	Xbox360
#2	17	PS3,PS5	PS4	PS Vita	NaN

df = df.applymap(lambda x: x.split(',') if ',' in str(x) else x)
df = df.explode('Console1').explode('Console2')
df = pd.concat([df[['Age', i]].rename(columns={i:'Game Console Combined'}) for i in df.columns if i != 'Age']).dropna().drop_duplicates().sort_values('Age').reset_index(drop=True)
print(df)
#	Age	Game Console Combined
#0	15	PS5
#1	15	XBox
#2	15	Wii U
#3	15	Gameboy
#4	15	PS2
#5	16	GameCube
#6	16	PS4
#7	16	GameBoy Color
#8	16	PS5
#9	16	Xbox360
#10	17	PS3
#11	17	PS5
#12	17	PS4
#13	17	PS Vita

Comments

[SnowBallEffect]

ありがとうございます！うまくいきます！ただ、"]["という記号がセルに入っていて、これもsplitしたいのですが、df = df.applymap(lambda x: x.split(r'][' or r',') if r'][' or r',' in str(x) else x)をやったところ、AttributeError: 'float' object has no attribute 'split'というエラーがでてきました。あと、これもためしてみました。df = df.applymap(lambda x: x.split(r'][,\s'*) if r'][|,\s*' in str(x) else x)。これだとコードは走るのですが、なにもsplitしません。おそらく'][,\s*'という記号を探しているのだと思います。。。。。

Answer 2

dfx = df.set_index('Age').stack().str.split(r',\s*', expand=True)\
        .stack().reset_index(level=[1,2], drop=True).reset_index()\
        .rename({0: 'Game Console Combined'}, axis='columns')

print(dfx)

Age	Game Console Combined
15	PS5
15	XBox
15	Wii U
15	Gameboy
15	PS2
16	GameCube
16	PS4
16	GameBoy Color
16	PS5
16	Xbox 360
17	PS3
17	PS5
17	PS4
17	PS Vita

Comments

[SnowBallEffect]

返信ありがとうございます。このコード、ほぼすべてうまくいます。ただ、本当のデータはdataframeを足すと中にこういう文字があります："]["　Melianさんのdf.set_index('Age').stack().str.split(r',\s*')では空白でsplitするのですが、"]["まではsplitできないようです。str.split(r',\s*\[\]')と素人なりにやってみますが、それでもだめでした。。"]["さえ、取れればうまくいくのですが。。。。　

[melian]

r',\s*' を r',\s*|\s*\]\[\s*' に変更して試してみてください。

[SnowBallEffect]

すごい！ありがとうございます！完璧です！regexをもう少し勉強します！本当にありがとうございました！