navMeshAgent。Rigidbody付きのオブジェクトを押さないようにしたい

Question

navMeshSurfaceを利用してnavMeshを更新しています。
navMeshの上に、navMeshAgent付きのキャラクターと、Cubeを複数置いています。

イメージとしてCubeの特徴を下記のようにしたいと考えています。
・キャラクターはこのCubeの上に乗ることができるが押すことはできない。
・Cubeをクリックすると弾いて移動させることができる。

上記のように障害物兼足場としたいのですが、設定を迷っています。

現状はCubeにRigidbodyをアタッチし、子にnavMeshBake用のMeshをもたせることで、
Mesh更新時にCube上にnavMeshが生成されることを確認しています。
ただ、キャラクターが触れると押されてしまいます。

考えてみたのですが、どうしたら実現できるのか思いつかなかったので、
どなたかヒントを頂けないでしょうか。
よろしくおねがいします。