ECSのタスク定義を自動で更新したい CodeDeploy

Question

前提

AWSのCodePipelineを使用して、CI/CDを回してます。
現在、セオリー通り、タスク定義をtaskdef.jsonで書きイメージのパスなどをCodeDeployで自動更新しています。

開発が進み、途中で環境変数などを追加しSSMに入れ、コンテナから参照したいなどの要求が発生します。
その際、シークレットに関しては手動管理なので、taskdef.json内のシークレットが更新されないまま、環境変数が見つからず、コンテナが落ち、Deployが出来ないなどで度々頭を悩ませています。

実現したいこと

taskdef.jsonのシークレットを自動で更新させたいです。

基本的に管理はTerraformで行っております。
AppSpecでTerraformで反映させたタスク定義を元に、新たなタスク定義を上書きするなどの方法があれば教えていただきたいです。

コード

{
  "executionRoleArn": "省略",
  "containerDefinitions": [
    {
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "ecs",
          "awslogs-region": "ap-northeast-1",
          "awslogs-stream-prefix": "ecs"
        }
      },
      "portMappings": [省略],
      "command": [省略],
      "cpu": 省略,
      "environment": [省略],
      "mountPoints": [],
      "secrets": [
        {
          "valueFrom": "arn:aws:ssm:ap-northeast-1:9999999999999:parameter/DB_URL",
          "name": "DATABASE_HOST"
        },
        {
          "valueFrom": "arn:aws:ssm:ap-northeast-1:9999999999999:parameter/DB_PASSWORD",
          "name": "DATABASE_PASSWORD"
        },
        {
          "valueFrom": "arn:aws:ssm:ap-northeast-1:9999999999999:parameter/DB_USERNAME",
          "name": "DATABASE_USER"
        }
      ],
      "memory": 省略,
      "volumesFrom": [],
      "image": "<IMAGE1_NAME>",
      "name": "省略"
    }
  ],
  "placementConstraints": [],
  "memory": "省略",
  "taskRoleArn": "省略",
  "family": "default",
  "networkMode": "awsvpc",
  "cpu": "省略",
  "volumes": []
}

version: 0.0
Resources:
  - TargetService:
      Type: AWS::ECS::Service
      Properties:
        TaskDefinition: <TASK_DEFINITION>
        LoadBalancerInfo:
          ContainerName: "省略"
          ContainerPort: 80

Comments

[yu_1985]

タスク定義とAppSpecはどんな感じになってますか

[Nero1129]

載せておきましたので、ご確認お願いします

[yu_1985]

パラメータストアに値を入れてるのならデプロイ時に毎回取得しに行きそうなものですが…。
単純にタスク実行ロールにパラメータストアから値を取得する権限が足りていなかったりしませんか？
コンテナが落ちるときのメッセージはどのようになってますかね。
毎回落ちるのか、落ちたり落ちなかったりなのか。

ちなみに、パラメータストア内の値を更新して反映させたいならその都度デプロイし直す必要があるはずです。

[Nero1129]

そもそも質問の意図が通じてなかったようです。すみません。
パラメーターも読めますし、コンテナも上がってます。

Sercretの中身が開発要件で増えた際に、terraformもtaskdef.jsonを毎度いじるのは面倒なので、片方に集約したいって話です。
buildspecで既存のtaskdefを拾ってきて、sedで置き換えるとか…
もっと簡単にtaskdefを更新できるよって方法などがあれば知りたいです。

[yu_1985]

環境変数の追加/削除は割と破壊的な変更なのでタスク定義を更新した上でデプロイするように運用するしかないと思いますね…。
タスク定義とアプリケーションを例えば同じリポジトリで管理しているなら同時に更新すれば良いと思うのですが、そうではないということでしょうか。
個人的に、環境変数がいきなり生えてきてそれがタスク定義に反映されない運用に問題があるように思えますが…。
あるいは、面倒でもCodePipelineに承認のステップを入れてそのタイミングで確認するとか。

そもそもどのシークレットを使う必要があるのかはどこかで管理されてるのでしょうか？

[yu_1985]

やろうと思えばCodeBuildに任意の処理を実行させることができるので、どうしてもというならそこで作り込むしかないと思いますね。
変数を反映させるだけならタスク定義自体を直接API経由で更新すればいいでしょう。
ただ、タスク定義をTerraform管理してるなら確実に差分が生まれるので個人的にはあまりお勧めしないです。

[Nero1129]

アプリとtaskdef.jsonは同じリポで管理。Terraformは別リポで管理ですね。
なので、環境変数を付け足すとなると、taskdef,terraformの２つの場所で更新しなくてはいけないのでつらい状態です。※リポの構成を考えたのは自分ではないので、悪しからず…
リポを同じにしたところで、taskdefもterraformも更新しなくちゃいけないので、どう運用すべきがが悩ましいです。

Answer 1

根本的な解決方法はないように思えます。
これだけのためにピタゴラスイッチ的な仕組みを作るくらいなら双方更新するほうがまだマシだと思います。

ECSのタスク定義のjsonをアプリが管理しているにも関わらず、そのTerraformを別リポジトリで管理しているのがそもそもの問題なのでそこを無理に自動化するのは筋が悪いと思います。
インフラをTerraformで管理しているなら、管理の主体はTerraformであるべきです。
にもかかわらず、アプリ側が更新したtaskdef.jsonを主体に更新しようとしているからおかしなことになっているのです。
gitリポジトリ管理しているなら人間がレビューする時に指摘して双方反映するのが落とし所ではないでしょうか。それがそんなに面倒ですかね？

例えばDB定義を変更した場合、先にデプロイを行わずにまずDB定義の反映を先に行うと思うのですが、それとそんなに違うことでしょうか。

個人的には自動化云々ではなくデプロイプロセスの見直しが必要と思います。