nginxでport80以外を設定できない

使用しているOSはubuntuです。

下記の様に80番で設定すると正常に動作するのですが、他のPort番号に変えると、
このサイトにアクセスできません。
****からの応答時間が長すぎます。

と表示されてしまいます。

ファイアーウォールもufwを使って開放しています。

うまくいかない例：

server {
    listen 8080;
    listen [::]:8080;
    location / {
        proxy_pass         http://127.0.0.1:5000;
        proxy_http_version 1.1;
        proxy_set_header   Upgrade $http_upgrade;
        proxy_set_header   Connection keep-alive;
        proxy_set_header   Host $host;
        proxy_cache_bypass $http_upgrade;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $scheme;
    }
}

うまくいく例：

server {
    listen 80;
    listen [::]:80;
    location / {
        proxy_pass         http://127.0.0.1:5000;
        proxy_http_version 1.1;
        proxy_set_header   Upgrade $http_upgrade;
        proxy_set_header   Connection keep-alive;
        proxy_set_header   Host $host;
        proxy_cache_bypass $http_upgrade;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $scheme;
    }
}

uwfの確認 sudo uwf status

80                         ALLOW       Anywhere                  
22                         ALLOW       Anywhere                  
8080                       ALLOW       Anywhere

もう1日中試しているのですが原因が分かりません。
どんなアドバイスでもいいので、ご教授頂ければ大変ありがたいです。

どうかよろしくお願い致します。

※記載し忘れていたので追記します
80番以外のPortで設定してブラウザからアクセスしようとした場合、
access.log, access.log.1, error.log, error.log.1にも何も記載されません

また、Port番号80以外で設定した場合、サーバー上でcurlならうまくhtmlを取得できます

サーバーはさくらVPSを使用しています