回答編集履歴

  おそらく、OVRGrabbableを継承したのが間違いと思われます。

  OVRGrabbableの使い方をもう一度きちんと調べたほうが良いです。

 

 

  コードは下記のような感じになると思います。動作確認はしていないのであくまで参考です。