circleciで必要な.pemをどう使えば良いのか？

circleciでデプロイのジョブを行う際に秘密の鍵(.pem形式)をcircleciコンソールに登録する必要があります。
この.pemファイルの扱いについて質問があります。

今までサーバーに接続する準備として、
1 クライアントで以下のコマンドを使って公開鍵、秘密鍵を生成する。

$ ssh-keygen -t rsa

2 公開鍵を何らかの方法を使って接続したいサーバーに送信する。
3 サーバ側で受け取った公開鍵をauthorized_keysファイルに書き込む。

このような手順を踏んでサーバーに接続する方法を学んできました。ただしこの方法は.pemを使うのではなくrsaというタイプの鍵を使って接続する方法です。.pemとは異なるのが今の私の問題です。

今までpemファイルを使った経験がec2に接続する際に使った事があるだけなのですが、pemファイルを使ってec2以外のサーバーに接続する際も同じような手順を踏めばよいのでしょうか。
つまりサーバー側のauthorized_keysに.pemの内容を書き込んでから接続できる仕組みなのでしょうか。

また別の側面から質問するとamazonのec2の場合は公開鍵は自動的にauthorized_keysに登録されるから、利用者は接続の際に.pemファイルを使用するのみとなっているのでしょうか？または.pemファイルはvpsのようなサーバーでもauthorized_keysに登録しないでも使える仕組みなのでしょうか。 pemファイルの使い方を調べてみたもののawsの記事ばかりで適切な記事を発見できませんでしたので質問いたしました。よろしくおねがいします。