Python 行の追加と変換

Question

前提・実現したいこと

Python pandasで、

|Index|A|B|C|D|E|
|:--|:--|:--|:--|:--|
|1|NaN|10|NaN|NaN|15|
|2|NaN|NaN|20|NaN|NaN|
|3|30|40|NaN|NaN|10|
|4|NaN|10|NaN|20|NaN|
...

といったデータセットを、

|Index|A|B|C|D|E|Target|
|:--|:--|:--|:--|:--|:--|
|1|0|1|0|0|0|10|
|1|0|0|0|0|1|15|
|2|0|0|1|0|0|20|
|3|1|0|0|0|0|30|
|3|0|1|0|0|0|40|
|3|0|0|0|0|1|10|
|4|0|1|0|0|0|10|
|4|0|0|0|1|0|20|
...

のように変換したいです。

ルールは、
・A～E列で数字が入っているところを1、NaNのところは0に変換して、新たに追加されたTarget列に入っている数字をコピーする
・ただし、同じ行内に二つ以上数字が入っている場合は、行を複数行に分けて別々に数字をTarget列に記載する（同じ行内に入っている数字の数だけ新たに行を追加し、A～E列で1は一つだけ、他は0にする）

どなたかお分かりの方がいらっしゃいましたら、よろしくお願いします。

Answer 1

あまりスマートではありませんが、以下のようにして実装できます。
アイデアとしては、
(1) DFを考えうる最大の行数になるまで複製(やりたいことは、すべてのセルがnanではない場合、行数×列数の行数をもつデータフレームができあがるはず。)
(2) 各行の対象の値がnanであったらいらないので削除する。残った行が必要な行。
(3) 残った行のnanと関係のない値の列を0に、対象の値の列を1に変換
(4) Target列に対象の値を順次格納

# ライブラリ
import numpy as np
import pandas as pd

# input
df = pd.DataFrame(np.array([
    [np.nan, 10, np.nan, np.nan, 15],
    [np.nan, np.nan, 20, np.nan, np.nan],
    [30, 40, np.nan, np.nan,10],
    [np.nan, 10, np.nan, 20, np.nan]
]))

# dfを列数だけコピー
df = pd.concat([df]*len(df.columns))

# indexがバラバラなのでソート
df = df.sort_index()

# ターゲット列を追加
df['Target'] = np.nan

# 変換処理
for idx in df.index.unique(): # indexでループ
  for col in df.columns[:-1]: # Target列以外の列でループ

    # df.loc[idx]は5行5列のdataframe。その対角線をチェックし、nan出ない場合
    if df.notnull().loc[idx].iloc[col][col]:
      val = df.loc[idx].iloc[col][col] # 値を保持
      df.loc[idx].iloc[col] = np.nan # 対象行をすべてnanにする
      df.loc[idx].iloc[col][col] = 1 # 対象行の値のあった列のみ1に書き換える。
      df.loc[idx].iloc[col]["Target"] = val # 対象行のTarget列はあった値に設定

# この時点でTarget列がnanの行はいらないのでnanでない行のみ抽出。
# nanを0に書き換え
df[df["Target"].notnull()].fillna(0)

Comments

[HarumakiTaro]

コード書いていただいてありがとうございました。
手続き的には分かりやすいですね。参考になります。

Answer 2

試していないですが自分がすぐ思いつくのは次のような手順です。
多分もっとエレガントなやり方があります。

各列の数値データに列名を付加する
|Index|A|B|C|D|E|
|:--|:--:|--:|--:|--:|
|1|Nan|B10|NaN|NaN|E15|

NaNじゃない要素を抜き出したdataframeを作る。

Target
B10
E15

任意の列を作成し、結合した列名を切り出しセットする。

columns	Target
B	10
E	15

pandasのgetdummiesでOne Hot Encodingする。
カラム名を適切な値にリネームする。

Comments

[HarumakiTaro]

早速のご回答ありがとうございました

Answer 3

元のテーブルがピボットテーブルっぽかったのでmelt関数で実装してみました。

import pandas as pd
import numpy as np

NaN = np.NaN

df = pd.DataFrame( [[ 1, NaN, 10,NaN,NaN, 15],
                    [ 2, NaN,NaN, 20,NaN,NaN],
                    [ 3,  30, 40,NaN,NaN, 10],
                    [ 4, NaN, 10,NaN,NaN,NaN]],
                   columns=[ 'Index', 'A','B','C','D','E' ])

print(df)

# pivotをlistに変更
df = pd.melt(df, id_vars=['Index'])

# データの無い行を削除
df = df.dropna(subset=['value'])

# A～E列を追加
df = df.assign(A=0, B=0, C=0, D=0, E=0)

# 対応列に1を設定
for index, row in df.iterrows():
    df.loc[index, row['variable']] = 1

#不要列削除＆並べ替え＆名前変更＆並べ替えとか
df = df.loc[:,['Index','A','B','C','D','E','value']].rename(columns={'value':'Target'}).sort_values('Index').reset_index(drop=True)

print(df)

Comments

[HarumakiTaro]

最近Pythonはじめたばかりのど素人でして、melt関数というを知りませんでした。
forループも一重ですのでスピードも期待できそうですね。
ありがとうございました。