回答編集履歴

- VMインスタンスから、設定→USBのメニューでUSBコントローラを無効化してみてください。VirtualBoxバージョンにもよりますが、接続しているUSBデバイスによっては不安定になったり、メモリーリークしたりするという報告をみたことがあります。ちなみにこれを無効化してもVM内でUSBマウスが使えなくなったりはしませんで、安心してください。すでに無効化状態だったらすいません。