データフレームのある1列を条件により複数列に分割し、新たなデータフレームを作成する方法について

Question

前提・実現したいこと

pandasのデータフレームにおいて、1列に以下の例のように数字と文字列が混じったものが存在しております。

これらから、数字で区切り複数列に分割し、数字と数字の間にはもし記号文字があればそのまま文字列の結合、もし記号文字がなければ半角スペースを挿入し分割したいと考えております。

インプットのデータフレームの例(1列)

column_name
1111
江戸川
コナン
1112
らき
☆
すた
1113
アルセーヌ
・
ルパン
1114
ポケットモンスター
1115
ジョジョ
の
奇妙
な
冒険
：

アウトプットのデータフレームの例(2列)

id, name
1111, 江戸川 コナン(江戸川とコナンの間に半角空欄あり)
1112, らき☆すた(☆があるため半角空欄なし)
1113, アルセーヌ・ルパン(☆があるため半角空欄なし)
1114, ポケット モンスター(ポケットとモンスターの間に半角空欄あり)
1115, ジョジョ の 奇妙 な 冒険(ジョジョとのの間、のと奇妙の間、奇妙となの間、なと冒険の間にそれぞれ半角空欄あり))
：

考えたこと

pandasの1つのデータ（セル）の中の処理であればstr.split()で分割されたpandas.DataFrameが得られることは理解しました。これを行方向で複数分見る方法がいまいちわからず手をこまねいております。
恐縮ではございますが、お知恵を拝借できましたら幸いです。
何卒よろしくお願い申し上げます。

Answer 1

もとのデータを

df['grp'] = df['column_name'].str.isdigit().cumsum()
df.groupby('grp')['column_name'].apply(lambda d:d.reset_index(drop=True)).unstack().set_index(0, drop=True)

にてデータを列に展開できます。
さらに

df.apply(lambda d: d.dropna().values.tolist(), axis=1)

にてリストにまとめこともできますので、あとは文字列を結合すると良いかと。

import pandas as pd
import io

data = """
column_name
1111
江戸川
コナン
1112
らき
☆
すた
1113
アルセーヌ
・
ルパン
1114
ポケット
モンスター
1115
ジョジョ
の
奇妙
な
冒険
"""

df = pd.read_csv(io.StringIO(data))

df['grp'] = df['column_name'].str.isdigit().cumsum()
df = df.groupby('grp')['column_name'].apply(lambda d:d.reset_index(drop=True)).unstack().set_index(0, drop=True)       print(df)
#          1      2    3    4    5
#0
#1111    江戸川    コナン  NaN  NaN  NaN
#1112     らき      ☆   すた  NaN  NaN
#1113  アルセーヌ      ・  ルパン  NaN  NaN
#1114   ポケット  モンスター  NaN  NaN  NaN
#1115   ジョジョ      の   奇妙    な   冒険

df = df.apply(lambda d: d.dropna().values.tolist(), axis=1)
print(df)
#0
#1111              [江戸川, コナン]
#1112             [らき, ☆, すた]
#1113         [アルセーヌ, ・, ルパン]
#1114           [ポケット, モンスター]
#1115    [ジョジョ, の, 奇妙, な, 冒険]
#dtype: object

Comments

[mi2]

数字区切りでフラグを立て、集約するという発想を思い付きませんでした。大変勉強になりました。ありがとうございました。