pythonで表を「列の値」をもとに整形したい

Question

前提・実現したいこと

スクレイピングで整形できなかった部分を整形中です。
構造的には、上の表から下の表へと整形するコードを書いています。

該当のソースコード

df1=pd.DataFrame({'col1': ['a', 'a','b','b'],'col2': range(4),'col3':['apple','5','bag','7'],'col4':['apple','sort','bag','table']})
#df1をdf2に変形させたいです。
df2=pd.DataFrame({'col1': ['a','b'],'col2': ['0','2'],'col3':['1','3'],'col4':['apple','bag'],'col5':['5','7'],'col6':['sort','table']})

試したこと

groupbyを適用させてみましたが、思うようにいかないです。

ご教授いただければ幸いです。

Answer 1

ありがとうございます！
勉強になります！！

Answer 2

apple と bag の重複については単純に削除してます(col4 列先頭行の要素を削除)。また、カラムの dtype が一部(col2, col3)変更されていますが、必要があれば適宜元に戻して下さい。

import pandas as pd
import numpy as np

df1=pd.DataFrame({'col1': ['a', 'a','b','b'],'col2': range(4),'col3':['apple','5','bag','7'],'col4':['apple','sort','bag','table']})
#df2=pd.DataFrame({'col1': ['a','b'],'col2': ['0','2'],'col3':['1','3'],'col4':['apple','bag'],'col5':['5','7'],'col6':['sort','table']})

dfx = (
  df1.groupby('col1', as_index=False)
   .apply(lambda x: pd.Series(
       x.iloc[:,1:].unstack()
        .values[~np.in1d(np.arange(x.shape[0]*(x.shape[1]-1)), [x.shape[0]*2])],
       index=[f'col{i}' for i in range(2,(x.shape[0]*x.shape[1]-1))])))

print(dfx)
print(dfx.dtypes)

#
  col1  col2  col3   col4 col5   col6
0    a     0     1  apple    5   sort
1    b     2     3    bag    7  table

col1    object
col2     int64
col3     int64
col4    object
col5    object
col6    object
dtype: object