python データフレームのデータ欠損部に条件を付けて代入したい。

Question

データの欠損を修復して欠損をなくしたい。

入手できるデータに欠損値が多く困っています。
欠損部を特定の値で一律に埋めれないため、解決策が見出せません。

同じような悩みを解決した人がいれば、助言をください。

詳細は、添付図を参照ください。

Comments

[meg_]

値は0か1かしか存在しないのですか？

[icemanstanding]

はい。値は０と１だけです。

Answer 1

fillna(method='bfill')とfillna(method='ffill')を組み合わせて出来そうです。
とりあえす質問のケースでは出来ました。他のケースは別途検証してください。

import pandas as pd
import io
import numpy as np

text = """
1,2,3,4,5,6
A,1,1,1,1,1,
B,1,,1,1,1,1
C,1,,,,1,1
D,1,,,1,,
"""

df = pd.read_csv(io.StringIO(text))
df = df.T
df2 = df.copy().fillna(method='bfill')
df3 = df.copy().fillna(method='ffill')
df_result = pd.DataFrame(df2.values * df3.values, index=df.index, columns=df.columns)
df_result.fillna(0, inplace=True)
df_result = df_result.T
df_result = df_result.astype('int')
print(df_result)
#   1  2  3  4  5  6
#A  1  1  1  1  1  0
#B  1  1  1  1  1  1
#C  1  1  1  1  1  1
#D  1  1  1  1  0  0

---

※下記は１で挟まれているという条件が抜けていました。

処理通りやるなら、iterrors()などでデータフレームの行をループしてその行の値を1個ずつチェックしてく感じでしょうか？データが多いと処理が遅いとは思いますが。

---

検証はしていませんが、データフレームを転置してdf.fillna(method='bfill')で穴埋めというのはどうでしょうか？