pandas の各列の欠損値を除いてスタートを合わせたい

Question

やりたいこと

以下のようなデータフレームがあります。

df = pd.DataFrame(np.array([
    [np.nan, np.nan, 0.1, 0.1],
    [np.nan, 0.0, 0.2, 0.4],
    [np.nan, np.nan, np.nan, 0.0],
    [0.8, 0.6, 0.4, 0.2],
    [np.nan, 1, 0.9, 1],
]))

col_1	col_2	col_3	col_4
NaN	NaN	0.1	0.1
NaN	0.0	0.2	0.4
NaN	NaN	NaN	0.0
0.8	0.6	0.4	0.2
NaN	1	0.9	1

これを以下の用に変換したいです。

col_1	col_2	col_3	col_4
0.1	0.1	NaN	NaN
0.0	0.2	0.4	NaN
0.0	NaN	NaN	NaN
0.8	0.6	0.4	0.2
1	0.9	1	NaN

やったこと

各業をリストに変換してデータフレームに戻すことを試みましたが、リストの欠損値の消し方がわからず断念しました。

col_1
[nan,nan,0.1,0.1]
[nan,0.0,0.2,0.4]
[nan,nan,nan,0.0]
[0.8,0.6,0.4,0.2]
[nan,1,0.9,1]

→ 欠損値削除ができない

よろしくお願いいたします。

Answer 1

基本的にはnomukenさんと同じなのですが、元のColumn名をそのまま使いたいのであれば、もう少し処理が必要になります。

import pandas as pd
import numpy as np

df = pd.DataFrame(
    [[np.nan, np.nan, 0.1, 0.1],
     [np.nan, 0.0, 0.2, 0.4],
     [np.nan, np.nan, np.nan, 0.0],
     [0.8, 0.6, 0.4, 0.2],
     [np.nan, 1, 0.9, 1]],
    columns=['col_1','col_2','col_3','col_4'])

df = df.apply(lambda d: d.dropna().reset_index(drop=True), axis=1).rename(pd.Series(df.columns.values), axis=1)
print(df)
#   col_1  col_2  col_3  col_4
#0    0.1    0.1    NaN    NaN
#1    0.0    0.2    0.4    NaN
#2    0.0    NaN    NaN    NaN
#3    0.8    0.6    0.4    0.2
#4    1.0    0.9    1.0    NaN

もしくはシンプルに

col = df.columns.values
df = df.apply(lambda d: d.dropna().reset_index(drop=True), axis=1)
df.columns = col

のようにも記述してもよいかもしれません。
ただし、この方法ではNaNを削除した結果、全体の列数が変わった場合はエラーとなります

Comments

[退会済みユーザー]

ありがとう御座います

Answer 2

こうかな・・・

import pandas as pd
import numpy as np

df = pd.DataFrame(np.array([
    [np.nan, np.nan, 0.1, 0.1],
    [np.nan, 0.0, 0.2, 0.4],
    [np.nan, np.nan, np.nan, 0.0],
    [0.8, 0.6, 0.4, 0.2],
    [np.nan, 1, 0.9, 1],
]))

df = df.apply(lambda x: x.dropna().reset_index(drop=True), axis=1)
print(df)

Comments

[退会済みユーザー]

ありがとうございます