Python Azure DataBricksの実現方法がわからない。

Question

|デバイスキー|column_date|columnA|columnB|columnC|
+------------+-----------+-------+-------+-------+
|device_A |2024/1/2 |aaaaaa |bb |null |
|device_A |2024/1/3 |null |bbbb |cc |
|device_A |2024/1/4 |aaa |null |null |
|device_B |2024/1/4 |aaa |null |null |
+------------+-----------+-------+-------+-------+
というデータフレームがあります。
ここから、
・デバイスキーが同じ
・columnA,columnB,columnCそれぞれの項目の値がNULLになっていないかつcolumn_dateが最新の日付の時のレコードを取り出して
|デバイスキー|column_date|columnA|columnB|columnC|
+------------+-----------+-------+-------+-------+
|device_A |2024/1/4 |aaa |bbbb |cc |
|device_B |2024/1/4 |aaa |null |null |
というデータを取得し、DataFrameに入れる処理を実現したい。

どのように実現すればよいか知恵をくださいますと幸いです。