pysparkでdatime日時とstring日時の差分

Question

Timestamp_date:2021-04-01T16:55:11のようなTimestampフォーマット
String_date: 20210405のような文字列のフォーマット
というカラムを持ったpyspark sdfに対して、日にちの差を取得したいです。

sdf= sdf.withColumn("DATEDIFF_Timestamp-String", F.datediff(F.col('Timestamp_date'), F.col('String_date').cast(TimestampType())))

で実行すると計算結果がnullになっていました。
どのようにしたらdatimeとstringの日時の演算をpysparkで行えるでしょうか？

Comments

[meg_]

String_dateをTimestampTypeに変換できていないのでは？

[sasakin]

そうですよね、これは20210405の形に問題があるのでしょうか？（時間も追加する必要がある？）

Answer 1

両方to_dateにしてdate_diffを使ったところ解決しました。
皆さんご親切にありがとうございます。感謝です。

Answer 2

Googleで検索してみました。

PySpark: 時刻と文字列を相互に変換する (DataFrame / Spark SQL)

には、to_timestampを使えと書いてありますね。
使っていないので分かりませんが、これで出来るかもしれません。

Answer 3

双方DateTimeにしておいて、それで差分を出せばどうでしょう

Comments

[meg_]

質問のコードでそれをしようとして失敗しているのだと思います。