Timestamp_date:2021-04-01T16:55:11のようなTimestampフォーマット
String_date: 20210405のような文字列のフォーマット
というカラムを持ったpyspark sdfに対して、日にちの差を取得したいです。
sdf= sdf.withColumn("DATEDIFF_Timestamp-String", F.datediff(F.col('Timestamp_date'), F.col('String_date').cast(TimestampType())))
で実行すると計算結果がnullになっていました。
どのようにしたらdatimeとstringの日時の演算をpysparkで行えるでしょうか?
回答3件
あなたの回答
tips
プレビュー