欠損値を連番で処理したい

Question

前提・実現したいこと

pythonでデータの欠損値の処理を以下のように行いたいです
何か便利な関数や方法はないでしょうか。
よろしくお願いします

データの特徴とやりたいこと
データは必ず各行に1つだけ、30から45までしかはいらない
欠損場所を連番で補完したい
ただし、取りうるデータの範囲外はNanのままにする

df_pre

	a	b	c	d	e
1	Nan	Nan	31	Nan	Nan
2	Nan	44	Nan	Nan	Nan
3	Nan	Nan	Nan	40	Nan
4	Nan	Nan	Nan	Nan	45
.
.
.

df_post

	a	b	c	d	e
1	Nan	30	31	32	33
2	43	44	45	Nan	Nan
3	37	38	39	40	41
4	41	42	43	44	45
.
.
.

試したこと

interpolateやfillna(method='bfill')等をつかって考えましたが、行ごとに欠損部分をすでにある数値を使って前後順番に連番に埋めていく手段が思いつきませんでした

補足情報（FW/ツールのバージョンなど）

python3.6.5
jupyter-notebook

Comments

[magichan]

仕様でわからない部分があるのですが、質問の例ではなぜ４行目は 41～44 の値が補完されないのでしょうか？

[DSist]

失礼しました。入力ミスです。
ご指摘通り、41～44 の値が補完されます。

[DSist]

本文修正いたしました

Answer 1

numpyのほうがやりやすかったのでnumpyを使っていますが、pandasだけでもできると思います。

各行の値と、その位置を取り出せば、単純なnp.arange() = [0, 1, 2, ...]との足し算、引き算で、連番は作成できます。
そして、最後に範囲外のものを削除すれば、よいです。

import pandas as pd
import numpy as np

df = pd.DataFrame([[np.nan, np.nan, 31, np.nan, np.nan],
                   [np.nan, 44, np.nan, np.nan, np.nan],
                   [np.nan, np.nan, np.nan, 40, np.nan],
                   [np.nan, np.nan, np.nan, np.nan, 45],],
                  columns=list('abced'))

# 各行の最大値(←なんでもいい)のインデックスと値を求める
ix = np.nanargmax(df, axis=1)
v = np.nanmax(df, axis=1)

# [0, 1, 2, 3, 4, 5] から、インデックスを引いて、値を足すと
# オリジナルの値をもとに連番ができる
df_n = pd.DataFrame([np.arange(len(df.columns))], index=df.index, columns=df.columns)
df_n = df_n.sub(ix, axis=0).add(v, axis=0)

# 条件外の値をのぞく
df_n = df_n.where((30 <= df_n) & (df_n <= 45))

Comments

[DSist]

ありがとうございます！
for文やif文を使うことも考えたのですが、元データは1000rowsくらいあるので、まとめて処理しようとして完全にハマってしまいました。
一つずつ処理を分解して書くとわかりやすいですね。すばらしいです！
numpyの使い方に慣れていないので、勉強したいと思います。

[DSist]

あらためて、元データにあてはめてうまくいきました。
すごくシンプルで理解しやすいです。この考え方は、色々なもの応用できそうです。重ねてお礼申し上げます。