VPSで構築したサイトのアップロード機能実装でボタン押下すると『このサイトにアクセスできません。』

さくらのVPSを使ってサイトを構築し、エクセルファイルをアップロードする機能を作っているのですが、うまくいきません。

さくらVPSで構築時に行ったことは、公開鍵秘密鍵ログイン機能です。
あとSSHの設定で
①ポート番号の変更
②パスワードログインの禁止
③rootログインの禁止

を行いました。

その後、アップロード機能の実装のために以下を行いました。

①

②
次にファイアウォールの設定で
２１が入っていなかったので
vim etc/sysconfig/iptables
-A INPUT -p tcp --dport 21 -j ACCEPT
-A OUTPUT -p tcp --dport 21 -j ACCEPT
と追加しました。

【エラー内容】
アップロードボタン押下した遷移先のページでは、

『このサイトにアクセスできません
接続がリセットされました。
次をお試しください:
接続を確認する
プロキシとファイアウォールを確認する
Windows ネットワーク診断ツールを実行する
ERR_CONNECTION_RESET』

と出てきました。ディレクトリ欄には指定した場所が表示されており、その遷移先のフォルダは存在しています。
ファイアウォールについては上記の通り２１番ポートを許可する設定を試みましたが、同様のエラー画面になります。
ネットワーク診断ツールの使い方がわからずその部分がまだ調査できていません。
プロキシについては、インターネットオプションをchromeから調べたところ、『LANにプロキシサーバーを使用する』にチェックが入っていませんでしたので、プロキシサーバーは使用していないようです。すいません。このところよろくわかっておらず調べる方法も探り、書いてある通りに使用しているかについて見た結果です。

このほかSSHの設定のドキュメントにてポート開放の作業などが必要ということなのでしょうか。
ただ指定のフォルダへアップロードとダウンロードができさえすればいいだけなのですが一日行き詰ってしまいまして止まっております。
よろしくお願いいたします。

OSは、windows10になります。