常連

# nginxがrailsサーバーに接続してません

nginxが急に接続できなくなり、We're sorry, but something went wrong.が表示されました。
現在 `failed (111: Connection refused) while connecting to upstream`というエラーが発生してしまい、ウェブサイトにアクセスできなくなりました。
以下が、`nignx.error.log`の内容です。

```error
 while connecting to upstream, client: 10.0.1.171, server: www.sumigokochi2020.com, request: "GET / HTTP/1.1", upstream: "http://unix:/var/www/rails/rails_app/tmp/sockets/puma.sock:/", host: "10.0.0.222"
2020/12/03 12:22:24 [error] 3277#0: *439 connect() to unix:/var/www/rails/rails_app/tmp/sockets/puma.sock failed (111: Connection refused) while connecting to upstream, client: 10.0.0.196, server: www.sumigokochi2020.com, request: "GET / HTTP/1.1", upstream: "http://unix:/var/www/rails/rails_app/tmp/sockets/puma.sock:/", host: "10.0.0.222"
```

`rails s -e production`を実行すると以下の結果が得られます。

```
=> Booting Puma
=> Rails 6.0.3.4 application starting in production 
=> Run `rails server --help` for more startup options
Puma starting in single mode...
* Version 4.3.6 (ruby 2.7.2-p137), codename: Mysterious Traveller
* Min threads: 5, max threads: 5
* Environment: production
* Listening on unix:///var/www/rails/rails_app/tmp/sockets/puma.sock
Use Ctrl-C to stop
```
`error.log`の
```
connect() to unix:/var/www/rails/rails_app/tmp/sockets/puma.sock
```
と`rails s -e production`実行結果の

```
* Listening on unix:///var/www/rails/rails_app/tmp/sockets/puma.sock
```

のListening先とconnect先が違うことがエラーの原因なのではないかと考えているのですが、どなたかわかる人がいました、教えて頂きたいです。
**rails**の`production.log`が一切更新されてないので、**Nginx**の問題かなとは考えています。
##　本番環境

* AWS EC2 Linux
* Rails 6.0.3
* Nginx  

***Nginx.conf***file
```nginx/conf:nginx

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 4096;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    include /etc/nginx/conf.d/*.conf;
    # server{}欄を変更して,httpでアクセスされたものをhttpsにリダイレクトさせる
    server {
        listen       80;
        listen       [::]:80;
        server_name  www.sumigokochi2020.com;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
            location = /40x.html {
        }

        error_page 500 502 503 504 /50x.html;
            location = /50x.html {
        }
    }	
}
```
nginx/conf.d/rails_app.conf
```
# log directory
error_log  /var/www/rails/rails_app/log/nginx.error.log; #自分のアプリケーション名に変更
access_log /var/www/rails/rails_app/log/nginx.access.log; #自分のアプリケーション名に変更
# max body size
client_max_body_size 2G;
upstream app_server {
  # for UNIX domain socket setups
  server unix:/var/www/rails/rails_app/tmp/sockets/puma.sock fail_timeout=0; #自分のアプリケーション名に変更
}
server {
  listen 80;
  server_name www.sumigokochi2020.com; #自分のElasticIP
  # nginx so in:creasing this is generally safe...
  keepalive_timeout 5;
  # path for static files
  root /var/www/rails/rails_app/public; #自分のアプリケーション名に変更
  # page cache loading
  try_files $uri/index.html $uri.html $uri @app;
  location @app {
    # HTTP headers
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $http_host;
    proxy_redirect off;
    proxy_pass http://app_server;
  }
  # Rails error pages
  error_page 500 502 503 504 /500.html;
  location = /500.html {
    root /var/www/rails/rails_app/public; #自分のアプリケーション名に変更
  }
}
```

nginxで(111: Connection refused）が出て、アクセスできないです。

### nginxのwebサイトアクセス時にエラーページが表示されるが、エラーログが出力されないので原因が分からない。

ここに実現したいことを箇条書きで書いてください。
- [ ] エラーログが出力されるようにする
- [ ] エラーページ発生時のエラーログの確認

### 前提
- [ ] AWS lightsailでlinux2サーバーを立ち上げている。
- [ ] Nginx / PHP / MariaDBのミドルウェアをインストール
- [ ] WordPressをインストールしBlogサイトの立ち上げをしたい
- [ ] 参考サイトhttps://kacfg.com/ec2-wordpress/

ここに質問の内容を詳しく書いてください。
- [ ] 一通りの設定が完了しサーバーのIPアドレスからwebサイト接続を試みるもenginxのエラーページが表示される。
- [ ] sudo vi /var/log/nginx/error.logでエラーログを確認するも、ある時点までのエラーログは出ているがエラーページを表示させた時のエラーが出力されていない。→エラーページ表示時のエラーログを確認したい。


### 現状確認できている内容

/var/log/nginx/error.logの中身
```
2023/04/04 15:30:53 [emerg] 2613#2613: "location" directive is not allowed here in /etc/nginx/nginx.conf:85
2023/04/04 15:33:27 [emerg] 2676#2676: "location" directive is not allowed here in /etc/nginx/nginx.conf:85
2023/04/04 16:02:17 [emerg] 3407#3407: "location" directive is not allowed here in /etc/nginx/nginx.conf:82
2023/04/04 16:47:31 [error] 3066#3066: *2 open() "/usr/share/nginx/html/favicon.ico" failed (2: No such file or directory), client: 118.156.225.222, server: _, request: "GET /favicon.ico HTTP/1.1", host: "18.178.53.49", referrer: "http://18.178.53.49/index2.php"
2023/04/04 17:00:19 [error] 3066#3066: *7 open() "/usr/share/nginx/html/dispatch.asp" failed (2: No such file or directory), client: 193.32.162.159, server: _, request: "GET /dispatch.asp HTTP/1.1", host: "18.178.53.49"
2023/04/04 18:06:37 [error] 3066#3066: *56 open() "/usr/share/nginx/html/dispatch.asp" failed (2: No such file or directory), client: 193.32.162.159, server: _, request: "GET /dispatch.asp HTTP/1.1", host: "18.178.53.49"
2023/04/04 18:21:50 [error] 3066#3066: *61 open() "/usr/share/nginx/html/client/get_targets" failed (2: No such file or directory), client: 170.64.161.98, server: _, request: "GET /client/get_targets HTTP/1.1", host: "18.178.53.49"
2023/04/04 18:21:50 [error] 3066#3066: *62 FastCGI sent in stderr: "Primary script unknown" while reading response header from upstream, client: 170.64.161.98, server: _, request: "GET /upl.php HTTP/1.1", upstream: "fastcgi://unix:/var/run/php-fpm/php-fpm.sock:", host: "18.178.53.49"
```

/etc/nginx/nginx.confの中身
```
# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log debug;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 4096;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    include /etc/nginx/conf.d/*.conf;

    server {
        listen       80;
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
        location = /404.html {
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
        }
    }

# Settings for a TLS enabled server.
#
#    server {
#        listen       443 ssl http2;
#        listen       [::]:443 ssl http2;
#        server_name  _;
#        root         /usr/share/nginx/html;
#
#        ssl_certificate "/etc/pki/nginx/server.crt";
#        ssl_certificate_key "/etc/pki/nginx/private/server.key";
#        ssl_session_cache shared:SSL:1m;
#        ssl_session_timeout  10m;
#        ssl_ciphers PROFILE=SYSTEM;
#        ssl_prefer_server_ciphers on;
#
#        # Load configuration files for the default server block.
#        include /etc/nginx/default.d/*.conf;
#
#        error_page 404 /404.html;
#            location = /40x.html {
#        }
#
#        error_page 500 502 503 504 /50x.html;
#            location = /50x.html {
#        }
#
#        location ~ \.php$ {
#            root           /usr/share/nginx/html;
#            fastcgi_pass   unix:/var/run/php-fpm/php-fpm.sock;
#            fastcgi_index  index.php;
#            fastcgi_param  SCRIPT_FILENAME $document_root$fastcgi_script_name;
#            include        fastcgi_params;
#        }
}
                                                              89,1         末尾
```

### 試したこと

- [ ] エラーログのパーミッションを変更した。
```
$ ls -l /var/log/nginx/error.log
-rw-r-----. 1 nginx nginx 6929  4月  5 11:15 /var/log/nginx/error.log
```

- [ ] タイムゾーンをASIA/TOKYOに変更
```
$ timedatectl
      Local time: 木 2023-04-06 08:43:54 JST
  Universal time: 水 2023-04-05 23:43:54 UTC
        RTC time: 水 2023-04-05 23:43:54
       Time zone: Asia/Tokyo (JST, +0900)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a
```

nginxの構文チェック実行
```
$ sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
```

logレベルをdebugにした。
```
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log debug;
pid /run/nginx.pid;
```

よろしくお願いいたします。

### 追記
エラーページを添付します。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-04-06/2aff85b4-9c91-45a2-986b-246944ac69ec.jpeg)

###追記②
/var/log/nginx/access.log
```
 - - [06/Apr/2023:08:52:33 +0000] "GET / HTTP/1.1" 500 3708 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36" "-"
 - - [06/Apr/2023:08:52:33 +0000] "GET /favicon.ico HTTP/1.1" 404 3665 "http://18.178.53.49/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36" "-"
"/var/log/nginx/access.log" 282L, 55659B 
```

###追記③
ファビコンのログ出ていたため、nginxの設定ファイルにファビコン参照を無効にする記述をしました。
```
server {
        location = /favicon.ico {
                   log_not_found off;
                  }
       }
```
これを行ったあと、構文チェックをし、OKだったため再度webにアクセスしました。

/var/log/nginx/error.log
```
2023/04/06 22:32:23 [debug] 3988#3988: bind() 0.0.0.0:80 #6
2023/04/06 22:32:23 [debug] 3988#3988: bind() [::]:80 #6
2023/04/06 22:32:23 [debug] 3988#3988: counter: 00007FE6BC83E080, 1
```
ログが出てきました！

/var/log/nginx/access.log
```
- - [06/Apr/2023:13:42:07 +0000] "GET / HTTP/1.1" 500 3708 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36" "-" 
```
サーバー内部で500エラーが出ていることまで分かりました。

###追記④
nginx.conf からinclude している設定ファイル(/etc/nginx/conf.d/*.conf)にあるphp-fpmの設定ファイル
※すみません、外部PCからLightsailでssh接続しているため、画像の添付になります。
```
sudo vim /etc/nginx/conf.d/php-fpm.conf
```
中身
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-04-07/2dca2a3f-165f-4ad4-9b9a-8770a1ebf928.png)

nginxのwebサイトアクセス時にエラーページが表示されるが、エラーログが出力されないので原因が分からない。

Webシステムを構築するにあたって、
プロキシサーバなるものに困惑しております。

「クライアント→プロキシサーバ→Webサーバ→アプリケーションサーバ→DBサーバ」

「プロキシサーバ」と「Webサーバ」は、
【パターン1】
1台のサーバに、
プロキシサーバソフトウェアとWebサーバソフトウェアの両方をインストール
【パターン2】
2台サーバを用意し、
片方に、プロキシサーバソフトウェア、
もう片方に、Webサーバソフトウェアをインストール

これは、どちらが正しいのでしょうか。
また、それ以外のパターンはあるのでしょうか。

Webシステムの構成について

### 実現したいこと
nginx（リバースプロキシ）の「アップストリームからの応答ヘッダーの読み取り中に接続を途中で閉じました。」のエラーを出ないようにしたい

### 前提
EC2のインスタンス上にDjangoで作成したWEBアプリをデプロイして運用しています。
一つのEC2上に以下の３つのサーバを立ち上げており、
①nginxのWEBサーバ（リバースプロキシ）
②djangoのAPサーバ
③postgreSQLのDBサーバ

今回、djangoのAP側に機械学習で事前学習データを読み込む処理を追加し、初回実行時のみ重たくなるような仕様になったのですが、本番環境にデプロイしたところ、その処理を実行する際に１０秒後くらいにnginxのエラー画面が表示されるようになりました。

### 試したこと
nginxのエラーログを確認したところ、
「アップストリームからの応答ヘッダーの読み取り中に接続を途中で閉じました。」とのエラーが出てました。

親（APサーバ）からnginx（リバースプロキシ）への応答でタイムアウトしていると思い、ググってみてnginx.confの設定を以下の２通り変更をしてみたのですが、どちらの場合も解消しませんでした。

お力添えいただけますと幸いです。

元の設定
```nginx.conf
 location / {
         proxy_set_header Host $http_host;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header X-Forwarded-Proto $scheme;

         proxy_pass http://127.0.0.1:8000;
        }

```

変更①（httpのバージョン指定などの魔法）
```nginx.conf
 location / {
         proxy_set_header Host $http_host;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header X-Forwarded-Proto $scheme;
        
        # 追加
         proxy_http_version 1.1;
         proxy_set_header Connection "";

         proxy_pass http://127.0.0.1:8000;
        }
```

変更②（タイムアウト時間をでたらめに増やしました）
```nginx.conf
 location / {
         proxy_set_header Host $http_host;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header X-Forwarded-Proto $scheme;
        
        # 追加
         proxy_connect_timeout 600;
         proxy_send_timeout 600;
         proxy_read_timeout 600;
         send_timeout 600;

         proxy_pass http://127.0.0.1:8000;
        }
```

### 発生している問題・エラーメッセージ
「アップストリームからの応答ヘッダーの読み取り中に接続を途中で閉じました。」
```error.log
2023/03/27 20:46:46 [error] 24984#24984: *1 upstream prematurely closed connection while reading response header from upstream, client: ＜PCのIPアドレス＞, server: ＜ElasticIP＞, request: "POST /<対象の処理のパス>/ HTTP/1.1", upstream: "http://127.0.0.1:8000/<対象の処理のパス>/", host: "＜対象のドメイン＞", referrer: "https://<対象のドメイン>/<対象の処理のパス>/"
```

### 補足情報（FW/ツールのバージョンなど）
nginx/1.22.1
DJango/3.2.18
EC2/Amazon linux 2/t2.micro



nginxをリバースプロキシとして利用する場合の設定について

nginxをインストールしたので、「systemctl start nginx.service」とコマンドを入力して起動させたら、
起動に失敗しましたとエラーが表示されました。
そこで、「systemctl status nginx.service」で確認をしたところ以下のような内容でした。

nginx.service - nginx - high performance web server
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled)
   Active: failed (Result: exit-code) since Sat 2016-09-24 19:40:49 BST; 17s ago
     Docs: http://nginx.org/en/docs/
  Process: 12709 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=1/FAILURE)
  Process: 12707 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS)

Sep 24 19:40:47 localhost.localdomain nginx[12707]: nginx: configuration file /etc/nginx/nginx.conf...ful
Sep 24 19:40:47 localhost.localdomain nginx[12709]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98:...se)
Sep 24 19:40:47 localhost.localdomain nginx[12709]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98:...se)
Sep 24 19:40:48 localhost.localdomain nginx[12709]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98:...se)
Sep 24 19:40:48 localhost.localdomain nginx[12709]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98:...se)
Sep 24 19:40:49 localhost.localdomain nginx[12709]: nginx: [emerg] bind() to 0.0.0.0:80 failed (98:...se)
Sep 24 19:40:49 localhost.localdomain nginx[12709]: nginx: [emerg] still could not bind()
Sep 24 19:40:49 localhost.localdomain systemd[1]: nginx.service: control process exited, code=exite...s=1
Sep 24 19:40:49 localhost.localdomain systemd[1]: Failed to start nginx - high performance web server.
Sep 24 19:40:49 localhost.localdomain systemd[1]: Unit nginx.service entered failed state.
Hint: Some lines were ellipsized, use -l to show in full.

これを読むと、「Failed to start nginx - high performance web server」とあったので、
検索してみたのですが、該当する記事が見つからず、わかりませんでした。

何が原因で起きたのでしょうか？

なお、開発環境は以下の通りです。
OS：CentOS7.1(vagrant)
vagrant:1.8.4
nginx:1.11.4
nginxはパッケージからのインストールになります。

nginxを起動したら、起動に失敗しました。

nginxのlog_formatには "time_local" が設定されていますが、出力されるタイムスタンプが秒単位であるため、ミリ秒までの情報を含めるように変更したいです。


nginxのtimestampの精度を変更したい

### 実現したいこと
Nginxのリバースプロキシ環境課でWordPressを動かしたいのですが、ログイン画面が404エラーになってしまう。

環境はこんな感じ
WAN
↓
Nginx(192.168.200.100)
　↓
Nginx wordpress (192.168.200.151)
　　/var/www/html/wordpress（とりあえずこっちにアクセスしたい）
　　/var/www/html/wordpress02
　　/var/www/html/wordpress03

### Nginx(192.168.200.100)側のconfig

```ここに言語名を入力
server {
        root /var/www/html;

        # Add index.php to the list if you are using PHP
        index index.html index.htm index.nginx-debian.html index.html index.php;

        #listen 80;
        listen [::]:443 ssl; # managed by Certbot
        listen 443 ssl;
        ssl_certificate /etc/letsencrypt/live/<ドメイン名>/fullchain.pem; # managed by Certbot
        ssl_certificate_key /etc/letsencrypt/live/<ドメイン名>/privkey.pem; # managed by Certbot

        server_name <ドメイン名>;
                proxy_http_version 1.1;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection 'upgrade';
                proxy_set_header Host $host;
                proxy_cache_bypass $http_upgrade;
                proxy_set_header X-Forwarded-Proto https;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection "upgrade";

        location / {
                proxy_pass http://192.168.200.151/wordpress/;
        }


        # pass PHP scripts to FastCGI server
        location ~ \.php$ {
                include snippets/fastcgi-php.conf;
                fastcgi_pass unix:/run/php/php8.1-fpm.sock;
        }
}

map $http_upgrade $connection_upgrade {
    default upgrade;
    ''      close;
}
```
#### Nginx wordpress (192.168.200.151)側のconfig
````
server {
        listen 80 default_server;
        listen [::]:80 default_server;
        server_name _;

        index index.html index.htm index.nginx-debian.html index.php;
        client_max_body_size 3G;

        root /var/www/html/;

        location / {
                try_files $uri $uri/ /wordpress/index.php?$args;
        }

        location ~ \.php$ {
                include snippets/fastcgi-php.conf;
                fastcgi_pass unix:/run/php/php8.1-fpm.sock;
        }
}

````

### wp-config.php 追記分
```
define('FORCE_SSL_ADMIN', true);
if (strpos($_SERVER['HTTP_X_FORWARDED_PROTO'], 'https') !== false){
    $_SERVER['HTTPS'] = 'on';
    $_SERVER['SERVER_PORT'] = 443;
}
if (isset($_SERVER['HTTP_X_FORWARDED_HOST'])) {
    $_SERVER['HTTP_HOST'] = $_SERVER['HTTP_X_FORWARDED_HOST'];
}
```

### 困っていること
wp-login.phpのみ 404エラーになってしまう

原因としてはどんな事があるでしょうか？

Wordpress リバースプロキシの設定（Nginx）

###前提・実現したいこと
Webのサーバーサイド(APIなど)の開発を行っていて502エラーが発生するようになってしまいました。

現在複数台のサーバーでサービス動かしており
流れとしては以下のような感じです。

1. ユーザーがUserのGETのリクエストを飛ばす
1.   UserサーバーがGET処理を実行
1.   UserサーバーのGET処理の中でInfoのGETを実行
1.       InfoサーバーでGET処理を実行
1.       InfoサーバーのGET処理の中でDataのGETを実行
1.         DataサーバーでGET処理を実行
1.         DataサーバーからInfoサーバーにレスポンスを返す
1.       Infoサーバーがレスポンスを受け取りデータを整形
1.       InfoサーバーからUserサーバーにレスポンスを返す
1.   Userサーバーがレスポンスを受け取りデータを整形
1.   Userサーバーがユーザーにレスポンスを返す
1. ユーザーがレスポンスを受け取る


502エラーが発生する原因は
infoサーバー内ででているConnection refusedエラーが原因だと思っています。

これを解決する方法を探しています。


###発生している問題・エラーメッセージ

userサーバーで起きているエラー
```
urllib.error.HTTPError: HTTP Error 502: Bad Gateway
```

infoサーバーで起きているエラー
「InfoサーバーのGET処理の中でDataのGETを実行する」
このタイミングでエラーが発生します。
```
urllib.error.URLError: <urlopen error [Errno 111] Connection refused>
```

###設定周りの情報


gunicornの設定です。
関係ありそうな部分だけ抜粋しました。

```
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
timeout = 30
keepalive = 2
```

nginxの.confではアクセス数やレスポンスまでの時間制限などの設定は行っていないです。

### 試したこと

Connection refusedは必ず発生するわけではありませんでした。
頻度としては7回に1回ほどエラーが出ます。
発生しない場合は取得したかった内容が取得できています。

###補足情報(言語/FW/ツール等のバージョンなど)
取得しているデータは文字列で半角英数字記号で500字ほど。
json形式で取得します。
成否問わずレスポンスは0.5秒かからず返ってきます。

環境情報
EC2インスタンス
Linux
nginx
Python3
gunicorn

RDSインスタンス
MySQL

APIの取得の確認は主にChromeで行っています。

### 追記、試したこと1
gunicornの設定の下記2つを変更しての動作を確認してみました。
変更したところインスタンスを作成してから
約1時間ほどで適当に百数回以上GETを試しましたが502エラーは発生しませんでした。
しかし、時間がたってからGETを行ったところ502が発生。
以降発生するのは変わりませんが頻度は少しだけ減ったように感じます。
（1/7から1/10くらいに変化）

```
timeout = 30 -> 3000
keepalive = 2 -> 20
```

### 追記

nginxのキャッシュが溜まっているとかそういう面について調べましたが
キャッシュは作られていませんでした。（設定もしてないです）

また現在サーバーの再起動や何やらは切ってある状態で試しているため
もし停止したら停止しっぱなしになります。

### 追記2

Dockerで同じような状況を作って試してみました。
DockerでMySQLサーバーを立てて、
CentOSのサーバーを立てて、
AWSのEC2インスタンスとRDSインスタンスと同じ内容を詰め込んで
Docker内でやり取りさせてみました。

そして、502エラーが発生するまで無限ループを行うようスクリプトを準備し
それを12個ほどcmdから実行しています。
現在30分ほど経ちましたが今のところ502エラーは発生していません。
AWSでも同じことをして試してみます。

### 追記3：メモリが怪しそうです
free コマンドでメモリの使用量を確認したところ以下のように表示されました。
また、GETを繰り返すたびにMem-usedの値が上がっていくのが確認できました。
Mem-cachedはすぐには上がりませんでしたがココらへんについてもう少し深く調査してみようと思います。

```
[ec2-user@ip-172-31-29-13 ~]$ free -m
             total       used       free     shared    buffers     cached
Mem:           995        871        123          0         32        682
-/+ buffers/cache:        157        838
Swap:            0          0          0
```

### 追記4：メモリに負荷をかけてリクエストの結果

stress コマンドでメモリに負荷をかけて
```
stress --vm 2 --vm-bytes 400M --timeout 10m
```

10のプロセスから各1000回づつ、10/sでリクエストの送信を行っている状態での
vmstatコマンドの結果です。

```
2017/01/26 11:05:25 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
2017/01/26 11:05:25  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
2017/01/26 11:05:25  2  0      0 291484   4024  18948    0    0    10    25   77   85  1  1 98  0  0	
2017/01/26 11:05:26  2  0      0 266260   4032  18940    0    0     0    48  265  298 13 87  0  0  0	
2017/01/26 11:05:27  2  0      0 261168   4032  18940    0    0     0     0  251  258 16 84  0  0  0	
2017/01/26 11:05:28  3  0      0 179840   4044  20852    0    0  1940     0 1979 1332 32 68  0  0  0	

...省略
```

メモリに負荷をかけていない状態ではcpu の id に余裕がありましたが、
負荷をかけた状態では上記のようになっています。

### 仕様について追記

nginxを起動後、gunicornを起動させて
その状態でずっと稼働しっぱなしにして動かしています。

そして、問題の502が起きるのは、しばらくアクセスを繰り返した後に発生し始めること
アクセスするたびにメモリが減っていく様子が確認できたことからそこら辺に原因があるかもしれないと思っています。

### 現在の状況

InfoサーバーやDataサーバーから取得するデータ量を減少させたて、
タイムアウトまでの時間を伸ばすことでほぼ502エラーが出ないことが確認できました。
一応以前は502エラーが発生していた時以上にはアクセスを繰り返してもエラーは発生しませんでした。
例としては 10プロセスから 10/s で 各1千回リクエストを飛ばすと行ったことをしましたが
エラーは発生せずに終えることができました。

また、UserサーバーからInfoサーバーにリクエストを飛ばした際に
正常な結果が得られるまでリクエストを飛ばすことで、無理やり押し通すことが出来るのも確認しました。
（これはコメントアウトした状態で検証しています。）


ただ、どちらも対処療法の領域をでておらず、
原因の特定に至っていないためまだ調査中と言った感じです。

### ワーカープロセスについて
今回のことで初めて調べたのであっているかわかりませんがご了承ください。
nginx,gunicorn共にすべてのサーバーで同じ設定を行っています。
サーバーのスペックも同スペックで作成しています。

まずこちらのサイトを参考にCPUや最大プロセス数を調べたところ
http://www.crystalsnowman.com/?p=344

CPU : 1
最大プロセス数 ： 1024

とわかりました。
また、nginxにはワーカープロセスについての設定を行って無い状態でした。

gunicornでは以下の設定は行っていました。
``
workers = multiprocessing.cpu_count() * 2 + 1
worker_class = 'sync'
worker_connections = 1000
max_requests = 0
``

以下は動いているnginxとgunicornのプロセスを確認したものです。
```
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep nginx |grep -v grep
root     17576  0.0  0.1  58088  1080 ?        Ss   11:58   0:00 nginx: master process nginx
ec2-user 17578  0.0  0.4  58600  4756 ?        S    11:58   0:00 nginx: worker process
[ec2-user@ip-xxx-xx-xx-xx ~]$ ps aux |grep gunicorn |grep -v grep
ec2-user 17614  0.0  2.1 202156 22332 ?        S    11:58   0:01 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17646  0.4  2.5 223292 25996 ?        S    11:58   0:44 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17647  0.3  2.5 223296 26000 ?        S    11:58   0:38 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
ec2-user 17648  0.4  2.5 223248 26004 ?        S    11:58   0:41 /home/ec2-user/.pyenv/versions/3.5.2/bin/python3.5 /home/ec2-user/.pyenv/versions/3.5.2/bin/gunicorn run:app --config guniconf.py
```