回答編集履歴

- 私は`SelectableXXX`系の物は扱ったことは無いですが`非SelectableXXX`系と同じやり方で一応できたので載せますね。`RecycleView`において(少なくとも`非SelectableXXX`系において)は基本的に`RecycleView.data`を通して表示するデータを更新します。例えばこれに対して`data.pop(index)`や`data.remove(object)`とすることでデータを削除できます。それで`SelectableLabel`側からどうやって自身が属する`RecycleView`を得るかですが、私がよくやっているのが`SelectableLabelのinstance.parent.parent`です。泥臭いやり方ですが他にやり方が見当たらないのでこうしています。