DataFrameからの値抽出アルゴリズム

Question

###DataFrameからの値抽出アルゴリズムで困っています．
下記のようなデータフレームに置いて

各ID毎のa-dの値を抽出したい
抽出する値は最も古いもの

###例
ID272083の場合は
a,cは2017-04-03の値（a:16662,c:2800.7）を採用するが
dは2017-04-04の値（133.0）
bは更に新しいものを検索していき値があればそれを採用し，なければnanを採用する

発生している問題

IDのunique数と同じデータ数を取得しなければならないが，下記のコードでは取得する数が少ない．
ID：５００，c２：440
となってしまう．
nの場所が間違っているような気がしますが…

該当のソースコード

#データの読み込み
test = pd.read_csv()
test["date"] = pd.to_datetime(test['date'])
test = test.set_index(["ID","date"])

#今現在の状況
test = test.reset_index(["ID","date"])
ID_uni =  test["ID"].unique()
test = test.fillna(0)

a1 = []
b1 = []
c2 = []
d3 = []
for i in ID_uni:
    #n = 1
    for j in range(len(test["ID"])):
        print(n)
        if test["ID"][j] == i:
            #a = test["a"][j]
            #b = test["b"][j]
            c = test["c"][j]
            #d　= test["d"][j]
            if c != 0:
                c2.append(c)
                break
            elif n == test['ID'].value_counts()[i]:
                c2.append(0)
                break
            n += 1 

ソースコード

試したこと

階層をはずしたりし，試行錯誤していますが，うまくいきません．

Comments

[8524ba23]

入力元のデータフレームの構造が不明なので、提示部分のデータを生成するような簡単なサンプルコードを提示すると回答得られやすいと思います。
また、値の採用ルールですがNaNまたは０は無視するという感じでしょうか？

[ba-ba-ba]

ご指摘いただきありがとうございます．
そうです，NaNと０は無視します．

Answer 1

こんにちは。
全データをチェックしてもいいですが、私なら下の手順で求めます。

for IDごと
　for a~d列ごと
　　あるIDのある列の値がNanでも0でもないものを抽出
　　　そのうちの最古日付の値を保存（なければNan）

【追記】
解決したようでなによりです。
サンプルを実装してみたので、こういう方法もありだなと思って頂ければ幸いです。
以下、サンプルCSV、コード、結果出力。

id	date	val
1	2017-01-01	NaN
1	2017-01-02	1
2	2017-01-01	2
2	2017-01-02	3
3	2017-01-01	0
3	2017-01-02	NaN

import pandas as pd

df = pd.read_csv('data.csv', delimiter='\t')
id_list = df.id.unique()

# 値が0かNaNの行を削除
df = df.loc[df.val != 0]
df = df.dropna()

for id in id_list:
    df_id = df.loc[df.id == id] # idごとのDataFrame

    if len(df_id) == 0:
        print('id:{} is val:Nan'.format(id))
    else:
        # 日付が最小の行を抽出
        min_row = df_id.loc[df_id.date == df_id.date.min()]
        print('id:{} is val:{}'.format(id, min_row.values[0][2]))

id:1 is val:1.0
id:2 is val:2.0
id:3 is val:Nan

Comments

[ba-ba-ba]

回答ありがとうございます．
for IDとは
for i in test[ID]:
ということでしょうか？
この場合階層構造は外した方がいいのでしょうか？

[firedfly]

for i in ID_uni: ですね。

正直、どうやっても（効率はさておき）できるので、なにがベストということはないです。
DataFrame は列方向の演算が高速なので Group by など使うとよい、というぐらいで。

[ba-ba-ba]

ありがとうございます．
今現状上記の様なコードなのですが，取得数が合わず困っています．
おかしなところお気づきになりましたら，ご指摘お願い致します．

[firedfly]

「ID：５００，c２：440」では多いか少ないか判断できないので
元データ（やそれに類似したサンプルの）CSVと実行結果をセットでもらえたらアドバイスします。

[ba-ba-ba]

nの位置を訂正することで解決致しました．
本当にありがとうございました．