回答編集履歴

  まず各BigDecimalを割った結果とその整数部分を出しておきます。結果から整数を引けば小数部分になるので、その小数部分を比較します。異なる値ならそのcompare値を返し、同じなら整数部分同士の比較の結果を返せばいいと思います。