ECS(fargate)へRailsAPI nginx pumaをデプロイしたい。

前提

ALB→nginx→puma→RailsAPIのような疎通で、Fargateにデプロイしたいのですが

connect() to unix:///back/tmp/sockets/puma.sock failed (2: No such file or directory)

が出ており、ヘルスチェックが通らずタスクが停止してしまう。

発生している問題・エラーメッセージ

connect() to unix:///back/tmp/sockets/puma.sock failed (2: No such file or directory) while connecting to upstream, client: 10.0.0.33, server: localhost, request: "GET /api/v1/health_check HTTP/1.1", upstream: "http://unix:///back/tmp/sockets/puma.sock:/api/v1/health_check", host: "10.0.2.117"
"GET /api/v1/health_check HTTP/1.1" 502 157 "-" "ELB-HealthChecker/2.0"

該当のソースコード

puma.rb

rails
1threads_count = ENV.fetch('RAILS_MAX_THREADS', 5).to_i
2threads threads_count, threads_count
3port        ENV.fetch('PORT', 5000)
4environment ENV.fetch('RAILS_ENV', 'development')
5plugin :tmp_restart
6
7app_root = File.expand_path('..', __dir__)
8bind "unix://#{app_root}/tmp/sockets/puma.sock"

default.conf

upstream app {
  server unix:///back/tmp/sockets/puma.sock;
}

server {
  listen 80 default;
  server_name localhost;

  access_log /var/log/nginx/access.log;
  error_log  /var/log/nginx/error.log;

  root /back/app/public;

 location @app {
  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  proxy_set_header X-Forwarded-Proto https;
  proxy_set_header Host $http_host;
  proxy_pass http://app;
 }

  client_max_body_size 100m;
  # error_page 404 505 502 503 504 /layouts/error.vue;
  try_files  $uri/index.html $uri @app;
  keepalive_timeout 5;
}

nginx.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  600;

    gzip                        on;
    gzip_disable                "msie6";
    gzip_vary                   on;
    gzip_proxied                any;
    gzip_min_length             1024;
    gzip_comp_level             6;
    gzip_types                  text/plain
                                text/xml
                                text/css
                                text/javascript
                                image/svg+xml
                                application/javascript
                                application/x-javascript
                                application/json
                                application/xml
                                application/xml+rss
                                application/font-tff
                                application/octet-stream;
    include /etc/nginx/conf.d/*.conf;
}

nginx Dockerfile

FROM nginx:1.16
RUN apt-get update && \
  apt-get install -y apt-utils \
  locales && \
  echo "ja_JP.UTF-8 UTF-8" > /etc/locale.gen && \
  locale-gen ja_JP.UTF-8
ENV LC_ALL ja_JP.UTF-8

ADD ./nginx/nginx.conf /etc/nginx/nginx.conf
ADD ./nginx/default.conf /etc/nginx/conf.d/default.conf

rails Dockerfile

FROM ruby:2.6.6

RUN curl https://deb.nodesource.com/setup_12.x | bash
RUN curl https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add -
RUN echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list

RUN apt-get update -qq && \
  apt-get install -y apt-utils \
  build-essential \
  libpq-dev \
  nodejs \
  yarn \
  vim \
  default-mysql-client

RUN gem install bundler:2.0.2

ENV TZ Asia/Tokyo
ENV LANG C.UTF-8

WORKDIR /back

ADD /back/Gemfile .
ADD /back/Gemfile.lock .
RUN bundle install

RUN mkdir -p /back/tmp/pids
RUN mkdir -p /back/tmp/sockets

RUN yarn install --check-files
# RUN WEBPACKER_PRECOMPILE=false bundle exec rails assets:precompile

VOLUME /back/tmp/sockets

COPY /back .

{
"ipcMode": null,
"executionRoleArn": ":role/career-finder-ecsTaskExecutionRole",
"containerDefinitions": [
{
"dnsSearchDomains": null,
"environmentFiles": null,
"logConfiguration": {
"logDriver": "awslogs",
"secretOptions": null,
"options": {
"awslogs-group": "/ecs/staging-agt-careerfinder-api",
"awslogs-region": "ap-northeast-1",
"awslogs-stream-prefix": "ecs"
}
},
"entryPoint": null,
"portMappings": [
{
"hostPort": 5000,
"protocol": "tcp",
"containerPort": 5000
}
],
"command": [
"bundle",
"exec",
"puma",
"-C",
"config/puma.rb"
],
"linuxParameters": null,
"cpu": 0,
"environment": [],
"resourceRequirements": null,
"ulimits": null,
"dnsServers": null,
"mountPoints": [],
"workingDirectory": null,
"secrets": null,
"dockerSecurityOptions": null,
"memory": null,
"memoryReservation": null,
"volumesFrom": [],
"stopTimeout": null,
"image": "967906006845.dkr.ecr.ap-northeast-1.amazonaws.com/staging-agt-careerfinde-rails",
"startTimeout": null,
"firelensConfiguration": null,
"dependsOn": null,
"disableNetworking": null,
"interactive": null,
"healthCheck": {
"retries": 3,
"command": [
"CMD-SHELL",
"curl --unix-socket /back/tmp/sockets/puma.sock ./",
"|| exit 1"
],
"timeout": 5,
"interval": 30,
"startPeriod": null
},
"essential": true,
"links": null,
"hostname": null,
"extraHosts": null,
"pseudoTerminal": null,
"user": null,
"readonlyRootFilesystem": null,
"dockerLabels": null,
"systemControls": null,
"privileged": null,
"name": "rails"
},
{
"dnsSearchDomains": null,
"environmentFiles": null,
"logConfiguration": {
"logDriver": "awslogs",
"secretOptions": null,
"options": {
"awslogs-group": "/ecs/staging-agt-careerfinder-api",
"awslogs-region": "ap-northeast-1",
"awslogs-stream-prefix": "ecs"
}
},
"entryPoint": null,
"portMappings": [
{
"hostPort": 80,
"protocol": "tcp",
"containerPort": 80
}
],
"command": null,
"linuxParameters": null,
"cpu": 0,
"environment": [],
"resourceRequirements": null,
"ulimits": null,
"dnsServers": null,
"mountPoints": [
{
"readOnly": null,
"containerPath": "/back/tmp",
"sourceVolume": "sockets"
}
],
"workingDirectory": null,
"secrets": null,
"dockerSecurityOptions": null,
"memory": null,
"memoryReservation": null,
"volumesFrom": [],
"stopTimeout": null,
"image": "967906006845.dkr.ecr.ap-northeast-1.amazonaws.com/staging-agt-careerfinde-nginx",
"startTimeout": null,
"firelensConfiguration": null,
"dependsOn": [
{
"containerName": "rails",
"condition": "HEALTHY"
}
],
"disableNetworking": null,
"interactive": null,
"healthCheck": null,
"essential": true,
"links": null,
"hostname": null,
"extraHosts": null,
"pseudoTerminal": null,
"user": null,
"readonlyRootFilesystem": false,
"dockerLabels": null,
"systemControls": null,
"privileged": null,
"name": "nginx"
}
],
"placementConstraints": [],
"memory": "1024",
"taskRoleArn": "arn:aws:iam::967906006845:role/career-finder-ecsTaskExecutionRole",
"compatibilities": [
"EC2",
"FARGATE"
],
"taskDefinitionArn": "arn:aws:ecs:ap-northeast-1:967906006845:task-definition/staging-agt-careerfinder-api:56",
"family": "staging-agt-careerfinder-api",
"requiresAttributes": [
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.logging-driver.awslogs"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.docker-remote-api.1.24"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "ecs.capability.execution-role-awslogs"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.ecr-auth"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.docker-remote-api.1.19"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.task-iam-role"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "ecs.capability.container-health-check"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "ecs.capability.container-ordering"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "ecs.capability.execution-role-ecr-pull"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "com.amazonaws.ecs.capability.docker-remote-api.1.18"
},
{
"targetId": null,
"targetType": null,
"value": null,
"name": "ecs.capability.task-eni"
}
],
"pidMode": null,
"requiresCompatibilities": [
"FARGATE"
],
"networkMode": "awsvpc",
"runtimePlatform": {
"operatingSystemFamily": "LINUX",
"cpuArchitecture": null
},
"cpu": "512",
"revision": 56,
"status": "ACTIVE",
"inferenceAccelerators": null,
"proxyConfiguration": null,
"volumes": [
{
"fsxWindowsFileServerVolumeConfiguration": null,
"efsVolumeConfiguration": null,
"name": "sockets",
"host": {
"sourcePath": null
},
"dockerVolumeConfiguration": null
}
]
}

試したこと

railsDockerdileにVOLUME /back/tmpを追加して、タスク定義でnginxのコンテナのソースコンテナにrailsを指定→500エラーに変わりヘルスチェック通らず
VOLUME [“/back/tmp”]も試したが同様でした。
default.confのupstreamをserver localhost:5000;に変更→“GET /api/v1/health_check HTTP/1.1" 500 71587 “-” “ELB-HealthChecker/2.0"

パブリックIPアドレスやロードバランサーDNS名でブラウザにアクセスしようとしましたがアクセスできませんでした。
こちらの記事を参考にしましたが、
-ここから追加で試したこと-

タスク定義でボリュームの追加→名前：sockets ボリュームタイプ：Bind Mount
nginxコンテナでマウントポイントの追加→ソースボリューム：sockets コンテナパス：/back/tmp/sockets
RailsDockerfileにVOLUME追加→VOLUME /back/tmp/sockets
docker-compose.ymlにvolumesを追加→backのvolumesに - sockets:/back/tmp/sockets volumesにsockets

nginxコンテナからRailsコンテナのpublic配下は確認できるが、tmp配下はファイル群が存在していない。
Railsコンテナ

Starting session with SessionId: ecs-execute-command-060aa63f924fee35b
# cd tmp
# cd sockets
# ls -a
.  ..  puma.sock
# pwd
/back/tmp/sockets

nginxコンテナ

Starting session with SessionId: ecs-execute-command-05c9c71aac4d64b8c
# cd back
# ls -a
.  ..  public  tmp
# cd public
# ls -a
.  ..  favicon.ico  robots.txt	uploads
# cd ..
# cd tmp
# ls -a
.  ..

補足情報（FW/ツールのバージョンなど）

ruby 2.6.6
rails 6.0.3
AWS (VPC/ECS Fargate/ECR/RDS/S3/ALB/Route53)

CHERRY

2022/08/22 21:33

> bind "unix://#{app_root}/tmp/sockets/puma.sock" app_root は、何になっていますか？また、 > upstream app { > server unix:///back/tmp/sockets/puma.sock; の socket パスと同じように記載するとどうなるでしょうか？

yu_1985

2022/08/23 06:31

>COPY /back . >ADD . /back ここのところは何をやっているんでしょうか…？そもそもこのDockerfileで作成したイメージは単体でちゃんと動きますか？一度コンテナでシェルを起動してちゃんと想定した通りにソースが配置されているか確認されてみてはいかがでしょうか。

takuya861

2022/08/23 07:02

遅くなりすみません！ app_root は/backになっています！ server unix:///back/tmp/sockets/puma.sock;で試しましたがエラー文は変わりませんでした！

takuya861

2022/08/23 07:04

>ここのところは何をやっているんでしょうか…？こちらはコメントアウトをしていたのですが、外したものを記載してしまいました。ローカルではADDでいけたのですが、ECRプッシュ時にエラーでたので一時的に書いています。ローカルでは正常に起動しています！

yu_1985

2022/08/23 07:45

Fargateで動かすとのことですがECSのタスク定義はどうなってますか。

takuya861

2022/08/23 07:52

タスク定義はrailsコンテナとnginxコンテナを一緒に定義しています。 Railsコンテナスクショ https://gyazo.com/2b42b04df0a74415756a52bf9316adbe nginxコンテナスクショ https://gyazo.com/18974a097644e3cd58ecf6cb56baee70 これでわかるでしょうか？

行動規範の内容に同意します

回答1件

nginxコンテナからpumaのコンテナ内のsockファイルを参照できてないんじゃないでしょうか。
今回はpuma.sockを介してnginxからpumaにアクセスしようとしています。

nginxの設定で

nginx
1server unix:///back/tmp/sockets/puma.sock;

と指定しても参照するのはnginxのコンテナ内なので、当然そんなファイルはないですと言われます。
そのため何らかの方法でnginxのコンテナからpumaにアクセスできるようにしてやる必要があります。

一つの方法として、バインドマウントでpumaコンテナ側のsockファイルが置いてあるディレクトリをnginxから参照できるようにしてやる、というものが考えられます。
バインドマウント
コンテナの定義だけじゃなく、タスク定義内でバインドマウント用のボリュームを定義してください。

その後nginx側のタスク定義でバインドマウント用に設定したボリュームをマウントしてください。
（もしかすると双方設定が必要だったかも）

あとはちゃんとタスク定義の依存関係の部分でrailsのコンテナが起動してからnginxが立ち上がるように設定してください。

Dockerfileの方でもVolumeの設定が必要だったかもしれないのでうまく行かなかったら試してみてください。

投稿2022/08/23 11:55

yu_1985

総合スコア7447

takuya861

2022/08/23 12:42

ありがとうございます！バインドマウントのドキュメント読んだのですが、タスク定義でソースボリュームがnoneでコンテナパスを指定しても更新したときにはnullになっています。こちらはDockerfileの設定をすると追加できるようになるのでしょうか？

takuya861

2022/08/23 14:11 編集

バインドマウント設定できました！タスク定義にて、nginxのソースボリューム・コンテナパスを追加 DockerfileにもVOLUME /back/tmp/socketsを追加エラーは変わらず connect() to unix:///back/tmp/sockets/puma.sock failed (2: No such file or directory) while connecting to upstream, client: 10.0.0.33, server: localhost, request: "GET /api/v1/health_check HTTP/1.1", upstream: "http://unix:///back/tmp/sockets/puma.sock:/api/v1/health_check", host: "10.0.2.124" となっています。 fargateのrialsコンテナでpuma.sockファイルの存在確認できました！ ``` ✘ takuya.kawase@kawasetakuyanoMacBook-Pro  ~   main ⁝ ✖ ✱ ?  ❯ aws ecs execute-command --region ap-northeast-1 --cluster staging-agt-careerfinder-api --task 009f703dee0546a1a562f685414e1a96 --container rails --interactive --command "/bin/sh" [23:08:17] The Session Manager plugin was installed successfully. Use the AWS CLI to start a session. Starting session with SessionId: ecs-execute-command-056d304ad01d6d468 # ls -a . .. .env .git .gitignore .ruby-version Dockerfile Gemfile Gemfile.lock README.md Rakefile app bin config config.ru db docker lib log node_modules public spec storage test tmp vendor yarn.lock # cd tmp # cd sockets # ls -a . .. puma.sock ```

yu_1985

2022/08/23 14:56

puma.sockのフルパスが不明なのでpwdコマンドを使うなりしてソースがどのディレクトリに配置されてるか調べてください。また、肝心のnginxのコンテナからは参照できてますか？

takuya861

2022/08/23 15:24

フルパスは下記になります！ takuya.kawase@kawasetakuyanoMacBook-Pro  ~   main ⁝ ✖ ✱ ?  ❯ aws ecs execute-command --region ap-northeast-1 --cluster staging-agt-careerfinder-api --task 4b44f756f06c4082bf8f16fe496437f1 --container rails --interactive --command "/bin/sh" [00:18:04] The Session Manager plugin was installed successfully. Use the AWS CLI to start a session. Starting session with SessionId: ecs-execute-command-0ad39e5f46bf6be5b # cd tmp # cd sockets # pwd /back/tmp/sockets nginxコンテナから参照できていませんでした。 ❯ aws ecs execute-command --region ap-northeast-1 --cluster staging-agt-careerfinder-api --task 3fe239009f09480eb54f33da4e3b9d02 --container nginx --interactive --command "/bin/sh" [00:21:55] The Session Manager plugin was installed successfully. Use the AWS CLI to start a session. Starting session with SessionId: ecs-execute-command-079b86773af5ab1ad # ls -a . .. back bin boot dev etc home lib lib64 managed-agents media mnt opt proc root run sbin srv sys tmp usr var # cd back # ls -a . .. tmp # cd tmp # ls -a . .. tmp以下がないので、VOLUMEの指定が悪いのでしょうか？

yu_1985

2022/08/23 17:36

タスク定義のほうはどう修正しましたか？コンテナだけでなく、全体のタスク定義（特にボリュームとマウント設定のあたり）を貼ってください。

takuya861

2022/08/23 22:34

nginxのタスク定義です！ https://gyazo.com/0375cfd739df74c3d493d7e02bc5dacd

yu_1985

2022/08/24 04:34

再三お伝えしているのですが、コンテナのところだけじゃなくてすべてを貼ってください。

takuya861

2022/08/24 08:21 編集

申し訳ございません🙇‍♂️ JSONでわかるでしょうか？本文にJSONを追加しました！

yu_1985

2022/08/24 07:48

質問欄ではシンタックスハイライトが効かないのでなるべく本文に貼るようにしてください…。 railsのコンテナの方でも同じようにボリュームマウントしたらどうなりますかね

takuya861

2022/08/24 08:20

すみません🙇‍♂️ railsコンテナにボリュームマウント追加すると500エラーになります！ 10.0.0.33 - - [24/Aug/2022:08:04:56 +0000] "GET /api/v1/health_check HTTP/1.1" 500 71587 "-" "ELB-HealthChecker/2.0"

takuya861

2022/08/25 02:19

nginxコンテナからrailsコンテナのpublic配下のファイル群は確認できたのですが、tmp配下にはファイル群が存在しませんでした。 railsコンテナからはtmp配下にsockets/puma.sockは存在するのは確認できています。

行動規範の内容に同意します