pandasで各行を指定回数複製する方法

Question

皆様、お世話になっております。
閲覧いただき、ありがとうございます。

pandasで下記コードを実施中に不明点が出ましたので質問させてください。

スプレッドシートの情報として以下をデータフレームとして読み込んでおりまして
サンプル1

大分類	中分類	小分類
A	a	1
B	b	2
C	c	3
D

上記データフレームの各列を以下の内容に書き換えるようにしております

大分類	中分類	小分類
A	a	1
A	b	1
A	c	1
A	a	2
A	b	2
A	c	2
A	a	3
A	b	3
A	c	3
B	a	1
B	b	1
B	c	1
B	a	2
B	b	2
B	c	2
B	a	3
B	b	3
B	c	3
B	c	3
C	a	1
C	b	1
C	c	1
C	a	2
C	b	2
C	c	2
C	a	3
C	b	3
C	c	3
C	c	3
D	a	1
D	b	1
D	c	1
D	a	2
D	b	2
D	c	2
D	a	3
D	b	3
D	c	3

【条件】
・大分類は1文字ごとに9回繰り返し＋ABCD計4周させる
・中分類は大分類1文字にたいしてabcの順番で3回繰り返す
・小分類は大分類1文字にたいして111222333の順番で3回繰り返す

上記の実施コード(magichan様ご提供)

import pandas as pd
import numpy as np
from itertools import product

df = pd.DataFrame({
    '大分類': ['A','B','C','D'],
    '中分類': ['a','b','c',np.nan],
    '小分類': ['1','2','3',np.nan],
})
ret = pd.DataFrame(product(df['大分類'].dropna(),
                           df['小分類'].dropna(),
                           df['中分類'].dropna()),
                   columns=['大分類','小分類','中分類']).reindex(df.columns, axis=1)

上記はmagichan様にご提供いただいた素敵なコードで対応できたのですが、
下記二点も追加で機能としてもたせたく今回ご相談させていただきます。

やりたいこと

1. 大分類のリスト['A','B','C','D']が無限に増えていく場合、中分類と小分類のリストに大分類のリスト項目が増えた分「np.nan」を手動で足していく必要があるため上記を自動化したい。
2. 大分類と中分類の間にα、β、γ列が増えた場合の対応を行いたい

2.スプレッドシートから読み込む情報変更した場合(α、β、γ列追加)
サンプル2

大分類	α分類	β分類	γ分類	中分類	小分類
A	一	①	I	a	1
B	二	②	Ⅱ	b	2
C	三	②	Ⅲ	c	3
D	四	③	Ⅳ

2.最終的なアウトプットイメージ

大分類	α分類	β分類	γ分類	中分類	小分類
A	一	①	I	a	1
A	一	①	I	b	1
A	一	①	I	c	1
A	一	①	I	a	2
A	一	①	I	b	2
A	一	①	I	c	2
A	一	①	I	a	3
A	一	①	I	b	3
A	一	①	I	c	3
B	二	②	Ⅱ	a	1
B	二	②	Ⅱ	b	1
B	二	②	Ⅱ	c	1
B	二	②	Ⅱ	a	2
B	二	②	Ⅱ	b	2
B	二	②	Ⅱ	c	2
B	二	②	Ⅱ	a	3
B	二	②	Ⅱ	b	3
B	二	②	Ⅱ	c	3
B	二	②	Ⅱ	c	3
C	三	③	Ⅲ	a	1
C	三	③	Ⅲ	b	1
C	三	③	Ⅲ	c	1
C	三	③	Ⅲ	a	2
C	三	③	Ⅲ	b	2
C	三	③	Ⅲ	c	2
C	三	③	Ⅲ	a	3
C	三	③	Ⅲ	b	3
C	三	③	Ⅲ	c	3
C	三	③	Ⅲ	c	3
D	四	④	Ⅳ	a	1
D	四	④	Ⅳ	b	1
D	四	④	Ⅳ	c	1
D	四	④	Ⅳ	a	2
D	四	④	Ⅳ	b	2
D	四	④	Ⅳ	c	2
D	四	④	Ⅳ	a	3
D	四	④	Ⅳ	b	3
D	四	④	Ⅳ	c	3

【条件】
・大分類・α分類・β分類・γ分類は1文字ごとに9回繰り返し(計4周させる)
・中分類は大分類1文字にたいしてabcの順番で3回繰り返す
・小分類は大分類1文字にたいして111222333の順番で3回繰り返す

試してみたこと
大分類に「"大分類","α分類","β分類","γ分類"」を格納してみました。

import pandas as pd
import numpy as np
from itertools import product

df1 = スプレッドシートから読み込んだサンプル2をデータフレームに格納したもの


df = pd.DataFrame({
    '大分類': df1[["大分類","α分類","β分類","γ分類"]].values,
    '中分類': ['a','b','c',np.nan],
    '小分類': ['1','2','3',np.nan],
})
ret = pd.DataFrame(product(df['大分類'].dropna(),
                           df['小分類'].dropna(),
                           df['中分類'].dropna()),
                   columns=['大分類','小分類','中分類']).reindex(df.columns, axis=1)

エラー分
Data must be 1-dimensional

一つ以上のディメンションがNGということで、どうすればできるのかご教授いただけると幸いです

大変お忙しいところ恐縮ですが、ご回答いただけると大変たすかります。
どうぞ、よろしくおねがいいたします。

Answer 1

やりたいこと1
大分類のリスト['A','B','C','D']が無限に増えていく場合、中分類と小分類のリストに大分類のリスト項目が増えた分「np.nan」を手動で足していく必要があるため上記を自動化したい。

dictに格納された要素数が違うことで「arrays must all be the same length」というエラーが出るため上記解決策を記す

import pandas as pd
import numpy as np
from itertools import product


#今回読み込みたいデータをデータフレームに格納する　サンプル1
df1 = 読み込みたいデータフレーム


data = {'大分類': df1['大分類'],
          '小分類': df1['小分類'],
          '中分類': df1['中分類']
         }

#[ここの処理を追加] 要素数が足りないリストにnanを埋め込む
data2 = pd.DataFrame({ key:pd.Series(value) for key, 
value in data.items() 
})


ret = pd.DataFrame(product(data2['大分類'].dropna(),
                           data2['小分類'].dropna(),
                           data2['中分類'].dropna()),
                   columns=["大分類",'中分類','小分類']).reindex(df.columns, axis=1)


ret


これでいくら大分類の要素数が増えようが、小分類と中分類のnanの数も自動で補えるので「arrays must all be the same length」にはなりません。
以上

Answer 2

NaNの追加

それぞれの分類は配列にしているので、配列の要素数が最大のものと同じ要素数になるよう、他の配列にNaNを追加していくだけで済むと思います。

• それぞれの配列の要素数をlen()で取得
• そのうち最大の数値をmax_lenとし、
• すべての配列の要素数がmax_lenになるまで末尾にNaNを追加する

分類列の追加

元の表にα～γ分類列を加えて、大分類に対応する文字列を加えるということですかね。
それなら元の表に以下のような処理を加えていけば良いかと思います。

• 追加したい列の挿入

df.insert(位置,列名,初期値)で列を追加できます。

ret.insert(1,'α分類',1)

• データの準備

α分類には、大分類がAなら'一'、Bなら'二'...という対応と見受けられますので、辞書を使って変換表を作ります。これでdic_alpha['A'] → '一'とすれば変換できますね。

dic_alpha = {'A':'一','B':'二','C':'三','D':'四'}

• 追加列側に元データの準備

α列に大分類列の中身をコピーします。

ret['α分類'] = ret['大分類']

• map関数で各要素それぞれ置換をかける

α分類の各要素にmap関数で先ほど作った辞書を使った変換を書けます。ラムダ式でらくちん。

ret['α分類'] = ret['α分類'].map(lambda x:dic_alpha[x])

これと同じ作業を残りの列にも行えば完了するでしょう。

Comments

[beginner.py]

hope_mucci様

お忙しい中、ご回答いただきまして、ありがとうございます。
大変ありがたいです。

NaNの追加に関して、質問させていただきたいのですが、

>すべての配列の要素数がmax_lenになるまで末尾にNaNを追加する
例えばこれはどのようにすれば実現できるのでしょうか

例えば

chu = [a,b,c] #中分類の要素数

maxlen = 30
len(chu) = 3

要素数を30-3＝27個足りないため　NaNで埋め合わせるのが必要かと存じます。

ですので、
for i in range(27):
chu.append(np.nan)

のような形をとればよいのかなとは思ったのですが、下記に入れ込むイメージがつかず
df = pd.DataFrame({
'大分類': ['A','B','C','D'],
'中分類': ['a','b','c',np.nan],
'小分類': ['1','2','3',np.nan],
})

何かヒントをいただけると幸いでございます。
大変恐縮ですが、ご確認のほど、よろしくお願いいたします。

また、分類列の追加に関してはよくわかりました。ご丁寧に解説くださり大変たすかりました；；

[hope_mucci]

chu = [a,b,c] #中分類の要素数
なら、
df = pd.DataFrame({
'大分類': ['A','B','C','D'],
'中分類': chu,
'小分類': ['1','2','3',np.nan],
})
他の分類も同様にできるでしょう。

# プログラミング、pythonの基礎をもっとしっかり勉強しましょう。基礎的なことがかなり理解できていないように見受けられます。

[beginner.py]

hope_mucci様

ありがとうございます。ご丁寧にありがとうございます。

基礎をもっとしっかり勉強します。
どうぞ、よろしくお願いいたします。