ユーザーのフォロワー数をUserテーブルに格納したい

Question

###前提・実現したいこと
現在、Railsチュートリアルを参考にフォロー機能を作り、拡張しています。
ユーザーをフォロワー数順に一覧で並べ用としています。

フォロー、フォロワーの関係を格納しているテーブルはrelationshipsテーブルに格納しています。

twitterのように、フォローしているけど、フォローされていないというような非対称な関係を一つのテーブルで扱っているのですが、ユーザーのフォロワーをユーザーテーブルの各ユーザーのレコードのカラムに格納して、ユーザーを並び変えるために使いたいと思っています。（followers_count）

###発生している問題・エラーメッセージ

counter_cacheを使えば良いかなと思っていたのですが、上記のような非対称な関係を表すテーブルに使用するのは不向きなのかと思ってきました。
(usersテーブルにはrelathionship_countのようになってしまう。)

follower_idのみをみて、ユーザーテーブルを監視したいです。

###補足情報(言語/FW/ツール等のバージョンなど)
Ruby on Rails 4.2.6, Ruby 2.3.4