python のdataframeで、配列を複数行に展開したい

Question

初心者です。
アクセスログ分析をしているのですが、行き詰まってしまいました。
どなたか、ご教示いただけますと幸いです。
よろしくお願いいたします。

やりたいこと

pythonのdataframeで、配列になっているものを複数行に展開したいです。
できれば、指定した列は配列が分解されて複数行になり、指定しなかった列は同値が複数行に展開されるようにしたいです。

具体的には、
SQLでいう、以下のような動作をしたいです。
https://qiita.com/bwtakacy/items/b803dc5f3b44a3205832https://qiita.com/bwtakacy/items/b803dc5f3b44a3205832

やりたいこと：
以下のようなデータを

user_id	path	cv_flag
A	["1,3,4,5"]	1
B	["2,3,4,"]	0

こうしたいです！

user_id	path	cv_flag
A	1	1
A	3	1
A	4	1
A	5	1
B	2	0
B	3	0
B	4	0

どなたか、関数だけでもいいのでご教示いただけますと幸いです。
よろしくお願いいたします。

Answer 1

apply(pd.Series) にてリストをSeriesに変換し、unstack() にて列データに変換できるかと思います。

import pandas as pd

df = pd.DataFrame({
    'user_id':['A','B'],
    'path':[[1,3,4,5],[2,3,4]],
    'cv_flag':[1,2]
})

tmp_df = df.set_index('user_id')['path'].apply(pd.Series).unstack().reset_index(1).rename(columns={0:'path'})
res = df[['user_id','cv_flag']].merge(tmp_df, on='user_id').dropna()
#  user_id  cv_flag  path
#0       A        1   1.0
#1       A        1   3.0
#2       A        1   4.0
#3       A        1   5.0
#4       B        2   2.0
#5       B        2   3.0
#6       B        2   4.0

Comments

[kemupeach]

丁寧にありがとうございます！
試してみたところ、pathのデータが以下のようなデータだっためか、展開されませんでした。

'["https://aaa/","https://aaa/ccc/","https://aaaa/bbb/"]'

ご回答で説明して頂いたデータだと、以下のような形でした。

["https://aaa/","https://aaa/ccc/","https://aaaa/bbb/"]

このカラムを配列にすればいいのかと思うのですが、どのようにすればいいのでしょうか？

toarray(),tolist(),df.as_matrix()など試したのですが、できませんでした。
お忙しい中お手数ですが、よろしければご教示いただけますと幸いです。

[kemupeach]

pathのデータ型を、文字列からリストに変換できたので、
ご教示頂いたやり方でできました！！
ありがとうございます！

Answer 2

拾い物ですが、こんなのがありました。
“unstack” a pandas column containing lists into multiple rows

import pandas as pd
import numpy as np

df = pd.DataFrame({
        "user_id":["A", "B"],
        "path":[[1,3,4,5], [2,3,4]],
        "cv_flag":[1, 0] })

df
#   user_id          path  cv_flag
# 0       A  [1, 3, 4, 5]        1
# 1       B     [2, 3, 4]        0

lst_col = "path"
df_new = pd.DataFrame({
          col:np.repeat(df[col].values, df[lst_col].str.len())
          for col in df.columns.difference([lst_col])
         }).assign(**{lst_col:np.concatenate(df[lst_col].values)})[df.c
olumns.tolist()]

df_new
#   user_id  path  cv_flag
# 0       A     1        1
# 1       A     3        1
# 2       A     4        1
# 3       A     5        1
# 4       B     2        0
# 5       B     3        0
# 6       B     4        0

Comments

[kemupeach]

丁寧にありがとうございます！
試してみたところ、以下のようなエラーが出ました。

zero-dimensional arrays cannot be concatenated

pathのデータが配列型でなかったからだと思うのですが、
正しい状態？：["https://aaa/","https://aaa/ccc/","https://aaaa/bbb/"]
私のコード　：'["https://aaa/","https://aaa/ccc/","https://aaaa/bbb/"]'

どのようにすればいいのでしょうか？
toarray(),tolist(),df.as_matrix()など試したのですが、できませんでした。

お忙しい中お手数ですが、よろしければご教示いただけますと幸いです。

[tachikoma]

リストではなく文字列なんですね。

df["path"] = df["path"].apply(lambda x:eval(x))

これでリストに戻せると思うのですが、どうでしょうか。

[kemupeach]

迅速なご回答ありがとうございます！
できました！！！！
ありがとうございます！