並列処理の分散処理度合いについて

Question

Spark初心者です。
Sparkはパーティション単位で並列処理が行われる認識です。

例えば

df.coalesce(50).write.orc(path,mode="overwrite", compression ="none")

のように書いたときは、最大50分割で分散されるようにpathに書き込まれると思います。
ですが、

df.coalesce(50).write.partitionBy("日付","性別").orc(path,mode="overwrite", compression ="none")

のように書いた場合、日付と性別ごとにpartitonが分かれるので、(日付,性別)が50組み合わせ以上ある場合はエラーとなるでしょうか？

Answer 1

Sparkはまったく触ったことのない初心者ですが。

直感的には、
並列の最大処理数を超える分は、時間軸方向に自動的に配分されると思います。
そうでなければ、リファレンスマニュアルに「〜のケースではエラーになる」と明示されていると思います。