DataFrameの1行を複数行に分ける方法について教えてください。

Question

問題

以下のようなデータフレームがあったとします。

属性	コメント	フラグ
患者	おはようございます。今日もいい天気ですね	1
患者	はい	0
医師	かしこまりました。	0

このデータフレームのコメントの内容を「。」で分割して複数行にしたいです。

最終的には以下のようにしたいと考えています。

属性	コメント	フラグ
患者	おはようございます。	1
患者	今日もいい天気ですね	1
患者	はい	0
医師	かしこまりました。	0

「おはようございます。今日もいい天気ですね」を「おはようございます。」「今日もいい天気ですね」に分割して2行にしたいです。コメント列以外はすべて同じになっています。

データフレームでこのような動作をうまく行う方法が思いつかなかったので教えていただきたいです。

データフレームは以下で作成可能です。

import pandas as pd
zoku = ["患者", "患者", "医師"]
comment = ["おはようございます。今日もいい天気ですね", "はい", "かしこまりました。"]
flag = [1, 0, 0]
df = pd.DataFrame({'属性':zoku, 'コメント':comment, 'フラグ':flag})

追記
説明足らずで申し訳ございません。
データフレームは用意されていると仮定していますので、データフレーム作成に利用したリストはないものと考えていただければと思います。(df['コメント'].tolist()などで一応可能ですが、もうすこしスマートな方法があれば知りたいです)

また、「おはようございます。今日もいい天気ですね。どこに行きますか」などは2行ではなく3行になる想定です。

属性	コメント	フラグ
患者	おはようございます。	1
患者	今日もいい天気ですね	1
患者	どこに行きますか	1
患者	はい	0
医師	かしこまりました。	0

すでに多くの回答を頂きまして、ありがとうございます。説明不足でしたので追記させていただきました。

私が試したのは以下になります。もっとスマートなものがあれば教えていただきたいです。

import pandas as pd
zoku = ["患者", "患者", "医師", "患者"]
comment = ["おはようございます。今日もいい天気ですね", "はい", "かしこまりました。", "いいえ。そうではないです。"]
flag = [1, 0, 0, 0]
df = pd.DataFrame({'属性':zoku, 'コメント':comment, 'フラグ':flag})

def split_comment(df, index, index_list, comment_list):
  # 日本語の文章では|は利用されないと想定して区切り文字にする
  for comment in df["コメント"].replace('。','。|').split('|'):
    if comment != '':
      index_list.append(index)
      comment_list.append(comment)

index_list = []
comment_list = []
df.apply(lambda x: split_comment(x, x.name, index_list, comment_list), axis=1)
comment_df = pd.DataFrame({'コメント':comment_list}, index=index_list)

Answer 1

解決済になっていますが、ベストアンサーが適当ではないので書いておきます。

句点のあとに適当な文字列を追加してそこで区切るという案は他の方と同じです。
.str.split()を用いるとリストが要素となったシリーズが返却されますが、.explode()メソッドを用いるとリストをスムーズに複数行に分割できます。

df.assign(コメント=df['コメント'].str.replace('。', '。 ').str.split()).explode('コメント')

なお.explode()メソッドの使い方は公式ドキュメントを参照してください。
pandas.DataFrame.explode — pandas 1.2.5 documentation

---

追記：.str.split()メソッドで正規表現を工夫すれば.str.replace()は不要でした。

df.assign(コメント=df['コメント'].str.split(r'(?<=。)(?=.)')).explode('コメント')

Comments

[WatanabeJin]

explodeがまさに私が求めていた関数でした。ありがとうございます。
ベストアンサーにさせていただきました。

[toshikawa]

pandasは奥が深いですね。split()で正規表現が使えるのも初めてしりました。

Answer 2

import pandas as pd
zoku = ["患者", "患者", "医師"]
comment = ["おはようございます。今日もいい天気ですね。よろしくお願いします。", "はい", "かしこまりました。"]
flag = [1, 0, 0]
df = pd.DataFrame({'属性':zoku, 'コメント':comment, 'フラグ':flag})

# コメントを「。」でリスト分割。リストの長さを変数に代入
df['コメント']=df['コメント'].str.replace('。','。 ').str.split()
df['m']=df['コメント'].apply(lambda x: len(x))

# コメントのリストの長さで複製
df = pd.DataFrame(np.repeat(df.reset_index().values,df.m,axis=0),columns=['インデックス','属性','コメント','フラグ','カウント'])

# リストからの取り出しインデックスを作成
df['カウント']=df.groupby('インデックス').expanding().count()['コメント'] .values.astype('int') - 1

# コメント抽出
df['コメント']=df.apply(lambda x: x['コメント'][x['カウント']],axis=1)

# 不要な列を削除
df.drop(['インデックス','カウント'],inplace=True,axis=1)

"""
df

	属性	コメント	フラグ
0	患者	おはようございます。	1
1	患者	今日もいい天気ですね。	1
2	患者	よろしくお願いします。	1
3	患者	はい	0
4	医師	かしこまりました。	0
"""

いかがでしょうか？　　２行以上も対応してみました。

Comments

[WatanabeJin]

とてもわかりやすかったです。参考にさせていただきました。
こちらをベストアンサーとさせていただきました。
皆様ありがとうございました。

Answer 3

コメントだけ分解して、あとはマージしました。

N = 100
index = []
comment = []
for i, c in df[['コメント']].itertuples():
    c_split = c.split('。')
    c_last = c_split.pop()
    c_list = [s + '。' for s in c_split]
    if c_last != '':
        c_list.append(c_last)
    for j in range(len(c_list)):
        index.append(i * N + j)
        comment.append(c_list[j])

df_temp = pd.DataFrame({'index': index, 'コメント':comment})
df_temp2 = df.reset_index().drop('コメント', axis=1)
df_temp2['index'] = df_temp2['index'] * N
df_result = pd.merge(df_temp, df_temp2, how='left')[['属性', 'コメント', 'フラグ']].fillna(method='ffill')
df_result['フラグ'] = df_result['フラグ'].astype(int)

Nは'。'で区切られる分の数の最大値より大きいものを指定してください。

結果

>>> print(df_result)
   属性        コメント  フラグ
0  患者  おはようございます。    1
1  患者  今日もいい天気ですね    1
2  患者          はい    0
3  医師   かしこまりました。    0

Answer 4

愚直に２重リストを作ったあとでdataframeにします。

import pandas as pd
pd.set_option('display.unicode.east_asian_width', True)

zoku = ["患者", "患者", "医師","あああ"]
comment = ["おはようございます。今日もいい天気ですね", "はい", "かしこまりました。", ""]
flag = [1, 0, 0, 9]

data = []
for z,c,f in zip(zoku,comment,flag):

    cs = c.replace('。', '。\n').split('\n')
    cs = [e for e in cs if e] # 空行は無視

    # 元コメントが空も考慮。空１行のみ追加
    if not cs:
        cs = ['']
    for c in cs:
        data.append([z,c,f])

df = pd.DataFrame(data, columns=['属性', 'コメント', 'フラグ'])
print(df)
"""
     属性              コメント  フラグ
0    患者  おはようございます。       1
1    患者  今日もいい天気ですね       1
2    患者                  はい       0
3    医師    かしこまりました。       0
4  あああ                             9
"""

Answer 5

愚直にリストを足してみました
「。」の重複を無視します（['おはよう。。ありがとう']->['おはよう。','ありがとう']）

zoku = ["患者", "患者", "医師"]
comment = ["おはようございます。今日もいい天気ですね", "はい", "かしこまりました。"]
flag = [1, 0, 0]
zoku2=[]
comment2=[]
flag2=[]

for i,txt in enumerate(comment):
    splited = txt.split("。")
    for j,txt2 in enumerate(splited):
        if j != len(splited) -1 :
            txt2 += "。" #splitで消えた「。」の補充
        if txt2 == "" or txt2 == "。": #ここで"。"のみを無視
            pass
        else:
            comment2 += [txt2]
            zoku2 += [zoku[i]] #i番目の属性をコピー
            flag2 += [flag[i]] #i番目のフラグをコピー
print(zoku2)
print(comment2)
print(flag2)