DataFrame内の値の代入の高速化

Question

前回質問の続きのコードになります。
頂いた回答を元に以下の処理まで実装できております。
データ数は7000行*10列の70,000ほどになります。

①各セルの値が0以外の場合＋cv_date列の同一行が0で無い場合（日付）が入っているか判定
②でTrueの場合、各セルの日付からcv_dateまでの日付を引き算で計算し、変数に格納
③各セルの元々日付の入っていたセルに③の結果の値を更新する

この上記の処理後に各行ごとの数字で最小の値の位置に１を代入し、それ以外を残ったtimestamp型のデータも含めて0にしようとしています。
その中の最小のセルを１にするという処理で.locや.atを使っているのですが、処理が一向に終わらず、PCの方も熱くなっているようで、なんとか高速化できないか方法を探しています。

何か良い方法やメソッドなどがありましたらご教授頂きたいです。
よろしくお願いします。

    df = pd.concat((push_start_df,cv_date_df), axis=1)
    df['cv_date'] = pd.to_datetime(df['cv_date'], errors='coerce')
    cv = pd.notnull(df['cv_date']) #cv_dateが有効な行
    
    for c in df.columns:
      if c != 'cv_date':
        df[c] = pd.to_datetime(df[c], errors='coerce')
        rows = (cv) & (pd.notnull(df[c]))
        df2 = df[rows]
        gap = df2['cv_date'] - df2[c]
        df.loc[rows,c] = gap.dt.days
        df3 = df[df.columns[df.columns != 'cv_date']]
        min_col = df3.idxmin(axis=1)　#最小の値のカラムを取得
        df.at[rows,min_col] = 1　#各行の最小の値のセルを1に変換

Answer 1

import pandas as pd
from io import StringIO
from datetime import datetime

# テストデータ
s = """a_date,b_date,cv_date
2021-07-01,2021-07-02,2021-07-10
,,2021-07-11
2021-07-02,,2021-07-11
,2021-07-03,2021-07-12"""
df = pd.read_csv(StringIO(s))

cv = pd.notnull(df['cv_date']) # cv_dateが有効な行

df = df.loc[cv,:].apply(lambda x:pd.to_datetime(x, errors='coerce')).copy()
cols=df.columns.drop('cv_date')
df_mins=df.loc[:,cols].apply(lambda x: (df['cv_date'] - x).dt.days).assign(
    mins = lambda x: x.min(axis=1)
)
df_mins.drop('mins',axis=1).apply(lambda x: x==df_mins['mins'])

サンプルデータがないのでなんとも言えませんが、forが遅さの原因だと思いました。

forを使用しなくても、cv_dateとの計算や最低値を1(True)その他を0(False)はこのように可能だと思います。

# 読み込み等は上記と一緒

df = df.loc[cv,:].apply(lambda x:pd.to_datetime(x, errors='coerce')).copy() # cv_dateが有効な行を抽出すると共に、datetime型にデータを変更したデータフレームを作成

cols=df.columns.drop('cv_date') # cv_date以外の列名

# cv_dateとの差が一番小さい　＝　その日付が一番大きい　ということで、
# 日付の最大値と比較した結果とcv_dateを結合してデータフレームを戻している
pd.concat([df.loc[:,cols].apply(lambda x: x == np.max(x) ,axis=1),df['cv_date']],axis=1)

のほうが手順が少ないですね。

Comments

[amaturePy]

ありがとうございます！確かにTrue or Falseで要件満たせました。なぜか１を立てようとしてました。
pandasは処理に気をつけてあげないと極端に処理に時間を要するとは見たことあるものの、.atなどの一文でここまで変わるとは驚きました。
また、頂いたコード、自分の知識不足ですがなんとか自分のものにして自由にこのように書けるように勉強させて頂きます。