お使いの環境がわかりませんが、情報として記載しておきます。
なお、heroku Postgresql しか確認していません.
heroku から提供される接続情報を使って、データベース接続 GUI クライアントに設定を正しくすれば、ローカルのPCから問題なく接続できます。
Heroku Data のダッシュボード( https://data.heroku.com/ )にログインして、対象のデータベースを選択して、Setting タブを開く。
「Database Credentials」が、確認できますので、Host , Database , User , Port , Password を記録してください。
データベース接続用の GUI クライアントを起動して、接続設定画面を開いて、先ほど記録した ホスト名、ユーザー名、パスワード、データベース名、ポート名を入力します。(設定方法は各GUIクライアントのマニュアルを見てください。)
続いて、「SSL を使用して接続する」設定項目があると思いますので、有効にします。
これで、接続すると接続できると思います。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。