常連

## 事象

- TLS Handshake で失敗する場合、しない場合があり、Webページが表示されない。
- 携帯が２台あり、どちらもSIMの回線を使用し、Webページにアクセスすると、片方は成功、片方は失敗
- 成功している場合は１回の応答でServer Hello, Change Cipher Spec, Encrypted Handshake Messgeをまとめて送信しています。対するACKも１回のみです。
- 完全に見れないのであればFirewall設定を疑いましたが、片方は見れている状態です。
- tcpdump(& wireshark) で見た限り、以下に挙げる状態のときはTCP retransmission が発生して結果的にブラウザではタイムアウトとなるようです。(wireshark から抜粋)
- TCP Out-Of-Order 時にWireshark では (reassembly error, protocol TCP: New fragment overlaps old data) が出ています。

|No.|Src|Dest|Proto|Info|
|:--|:--:|--:|
|1|Internet|HAProxy|TCP|xxx -> 443 SYN|
|2|HAProxy|Internet|TCP|443 -> xxx SYN,ACK|
|3|Internet|HAProxy|TCP|ACK|
|4|HAProxy|HOST[123]|TCP|yyy -> 30397 SYN|
|5|HOST[123]|HAProxy|TCP|30397 -> yyy SYN,ACK|
|6|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|7|Internet|HAProxy|TLS1.2|Client Hello|
|8|HAProxy|Internet|TCP|443 -> xxx ACK|
|9|HAProxy|HOST[123]|TLS1.2|Client Hello|
|10|HOST[123]|HAProxy|TCP|30397 -> yyy ACK|
|11|HOST[123]|HAProxy|TLS1.2|Server Hello|
|12|HOST[123]|HAProxy|TLS1.2|Certificate(TCP segment of a reassembled PDU)|
|13|HOST[123]|HAProxy|TLS1.2|Server Key Exchange, Server Hello Done|
|14|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|15|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|16|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|17|HAProxy|Internet|TLS1.2|Server Hello|
|18|HAProxy|Internet|TLS1.2|Certificate(TCP segment of a reassembled PDU)|
|19|HAProxy|Internet|TLS1.2|Server Key Exchange, Server Hello Done|
|20|HAProxy|Internet|TCP|[TCP Out-Of-Order] 443 -> xxx ACK|
|21|HAProxy|Internet|TCP|[TCP Out-Of-Order] 443 -> xxx ACK|
|22|HAProxy|Internet|TCP|[TCP Retransmission] 443 -> xxx ACK|

... 以下Retransmissionが続く


## 質問

- 原因となっている場所はどこでしょうか
- 何を他に試せばよいでしょうか
- 何を直せば良いでしょうか 

## 前提

現在、自宅にてサーバをたてて検証環境を作っています。

### Kubernetes

- Host 1-3 で動作
- Port 30397（仮） でHTTPSリクエストを受けています。
- Port 30402（仮） でHTTPリクエストを受けています。
- NGINX ingress Controller & cert-manager でワイルドカード証明書を発行しています (www, *)
- L7 バランシング

### Haproxy

- TCP Mode
- 80, 443 Listen
- 80 -> 30402(仮） Forward
- 443 -> 30397(仮） Forward
- Docker-composeでRaspberry-pi上で動作
- HOST 1-3にL4 バランシング

### Router

- ルーターに仮想サーバ機能があるので80, 443 Open
- 80 -> HAProxy(80) Forward
- 443 -> HAProxy(443) Forward

## 構成
```
      (Internet)
          ↕
       [Router]
          ↕
    [Raspberry Pi] 
    ↕     ↕     ↕
[Host1] [Host2] [Host3]
```

### MW

1. Raspberry Pi: HAProxy(TCP Mode)
2. Host[1-3]: Kubernetes Worker(Master がいますがHaproxyから飛ばしていないので略します）

## 補足

L３レベルの話やNetworkに疎く、TCPやTLSの仕組みに詳しくないので素人構成ですが、なにかヒントをいただけると幸いです。

TLS 接続が成功する場合としない場合があります。(ERR: TCP retransmission?)

### 実現したいこと

- kubectl patch cronjob NAME -p '{"spec":{"schedule":"45 20 8 3 *"}}' -n NAMESPACEをコマンドをシェルにて実行してスケジュール時刻を更新したい
- 45 20 8 3の部分についてはshellにて現在時刻を変数として入れたい
  - 左からcronjobの実行時間である分 時 日 月の値のこと

### 前提

上記コマンドにて手動で実行すると更新できることは確認済み

### 発生している問題・エラーメッセージ
```
error: unabel to parse "'{¥"spec¥":{¥"schedule¥"... yaml:found unexpected end of stream
```
ダブルクォーとの前にエスケープ文字の¥が入ってしまい、k8s側としては想定外コマンドとして認識している、ように私は見える
ちなみに直前のecho $resultで出力される文字をコピーして実行すると意図通り実行できることは確認

### 該当のソースコード

```shell
schedule_time=省略（dateを用いて時刻を取得）
echo $schedule_time
# 上記の出力結果はこうなってる
# 45 20 8 3 *

before_text='kubectl ... "schedule":"'
after_text='"}}...-n NAMESPACE'

result=$before_text$schedule_time$after_text

echo $result
# 上記の出力結果は意図通り以下のようになっている
# kubectl patch cronjob NAME -p '{"spec":{"schedule":"45 20 8 3 *"}}' -n NAMESPACE

echo `$result`
# これがエラーになるためのこれの解決方法を知りたい

```


### 教えてほしいこと
- なぜ文字列として出力した場合、想定通りの文字になるのに、コマンドとして実行しようとするとエスケープ文字(¥)が入ってくるのか？が知りたい

- かなり力技なソースのため可読性が悪く、別にこの形に拘っていないので、もっと賢いやり方があれば教えてほしい
  - 最初scheduleの中の数字のみ変数にして実行しようとしたが、シングルクォート内に変数を入れられず断念

### その他
不足事項あればご指摘ください



ShellScriptでkubernetesのcronjob更新を実施したい

EKS Fargateは、1Nodeにつき、1Podで、動作します。

一般的なKubenetesのDaemonsetは、1Nodeにつき、指定したDeaemonsetが、1つのpodとして、起動します。

EKS FargateのDaemonsetは、例えばアプリケーション等のPodの、サイドカーとして起動するのですか？

EKS Fargate においてのDaemonsetの考え方について

### 実現したいこと
こんにちは！
現在Golangで構成されたプログラム＋envoyの2つのコンテナを持つkubernetesのnodeをminikubeにて作成中です。

```
  Warning  BackOff    3m1s (x3 over 3m14s)   kubelet            Back-off restarting failed container sample-envoy in pod sample-7548d8d5cb-fgk5s_default(04698280-7a4c-4234-84ab-fdb396a3aa25)
  Warning  Unhealthy  2m59s (x10 over 3m6s)  kubelet            Readiness probe failed: Get "http://10.244.0.31:9002/": dial tcp 10.244.0.31:9002: connect: connection refused
```
上記エラーを解消し、疎通確認を行いたいです。


### 該当のソースコード

```yaml
# deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sample
  labels:
    app: sample
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sample
  template:
    metadata:
      labels:
        app: sample
    spec:
      containers:
      - name: sample
        image: shimo0108/gcp-ops:latest
        imagePullPolicy: IfNotPresent
        ports:
          - containerPort: 8080
        livenessProbe:
          initialDelaySeconds: 5
          periodSeconds: 5
          tcpSocket:
            port: 8080
        readinessProbe:
          failureThreshold: 1
          httpGet:
            path: /
            port: 9002
            scheme: HTTP
          initialDelaySeconds: 10
          periodSeconds: 1
          successThreshold: 1
          timeoutSeconds: 1
        resources:
          {}
      - name: sample-envoy
        args:
        - -c
        - /usr/local/conf/envoy-config.yaml
        command:
        - envoy
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: metadata.name
        image: envoyproxy/envoy-alpine:v1.21.1
        imagePullPolicy: IfNotPresent
        lifecycle:
          preStop:
            exec:
              command:
              - sh
              - -c
              - wget --post-data='' http://127.0.0.1:9004/healthcheck/fail; sleep
                40
        ports:
        - containerPort: 9002
          name: service
          protocol: TCP
        - containerPort: 9004
          name: admin
          protocol: TCP
        resources: {}
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        volumeMounts:
        - mountPath: /usr/local/conf
          name: envoy-config
          readOnly: true
      volumes:
      - configMap:
          defaultMode: 420
          name: sample-envoy-config
        name: envoy-config
```

```yaml
# configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: sample-envoy-config
data:
  envoy-config.yaml: |
    admin:
      access_log:
      - name: envoy.access_loggers.file
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
          path: /dev/null
      address:
        socket_address:
          address: 0.0.0.0
          port_value: 9004
    cluster_manager:
      outlier_detection:
        event_log_path: /dev/stdout
    static_resources:
      clusters:
      - name: sample
        type: strict_dns
        connect_timeout: 0.25s
        health_checks:
        - http_health_check:
            path: "/"
          healthy_threshold: 1
          interval: 1s
          interval_jitter: 1s
          no_traffic_interval: 2s
          timeout: 1s
          unhealthy_threshold: 2
          event_log_path: /dev/stdout
          always_log_health_check_failures: true
        load_assignment:
          cluster_name: sample
          endpoints:
          - lb_endpoints:
            - endpoint:
                address:
                  socket_address:
                    address: 127.0.0.1
                    port_value: 8080
        lb_policy: round_robin
        dns_lookup_family: v4_only
        ignore_health_on_host_removal: true
        circuit_breakers:
          thresholds:
          - priority: DEFAULT
            max_connections: 2048
            max_pending_requests: 6144
            max_requests: 6144
            max_retries: 3
      listeners:
      - name: ingress
        address:
          socket_address:
            address: 0.0.0.0
            port_value: 9002
        filter_chains:
        - filters:
          - name: envoy.http_connection_manager
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
              access_log:
              - name: envoy.file_access_log
                typed_config:
                  "@type": type.googleapis.com/envoy.extensions.access_loggers.file.v3.FileAccessLog
                  path: /dev/stdout
                  log_format:
                    json_format:
                      severity: "INFO"
                      message: "Envoy access log"
                      kind: "accesslog"
                      eventTime: "%START_TIME(%s.%6f)%"
                      ip: "%REQ(X-FORWARDED-FOR)%"
                      method: "%REQ(:METHOD)%"
                      path: "%REQ(X-ENVOY-ORIGINAL-PATH?:PATH)%"
                      receivedBodySize: "%BYTES_RECEIVED%"
                      sentBodySize: "%BYTES_SENT%"
                      status: "%RESPONSE_CODE%"
                      duration: "%DURATION%"
                      responseDuration: "%RESPONSE_DURATION%"
                      agent: "%REQ(USER-AGENT)%"
                filter:
                  not_health_check_filter: {}
              codec_type: auto
              stat_prefix: ingress_http
              http_filters:
              - name: envoy.filters.http.cors
              - name: envoy.filters.http.health_check
                typed_config:
                  "@type": type.googleapis.com/envoy.extensions.filters.http.health_check.v3.HealthCheck
                  pass_through_mode: false
                  cluster_min_healthy_percentages:
                    sample:
                      value: 100
                  headers:
                  - name: ":path"
                    string_match:
                      exact: /
              - name: envoy.filters.http.compressor
                typed_config:
                  "@type": type.googleapis.com/envoy.extensions.filters.http.compressor.v3.Compressor
                  response_direction_config:
                    common_config:
                      content_type:
                      - application/json
                      - application/protobuf
                    disable_on_etag_header: true
                  compressor_library:
                    name: for_response
                    typed_config:
                      "@type": type.googleapis.com/envoy.extensions.compression.gzip.compressor.v3.Gzip
                      compression_level: DEFAULT_COMPRESSION
                      compression_strategy: DEFAULT_STRATEGY
              - name: envoy.filters.http.router
                typed_config: {}
              route_config:
                virtual_hosts:
                - name: ingress_services
                  domains:
                  - '*'
                  cors:
                    allow_origin_string_match:
                    - exact: "http://localhost:8080"
                    allow_headers: "Accept, Accept-Encoding, Content-Type, X-API-Key, X-Request-ETag, Authorization, If-Modified-Since, If-None-Match, X-Requested-With, X-WT-Signature"
                    allow_methods: "GET, POST, DELETE, PATCH, PUT"
                    max_age: "604800"
                    allow_credentials: true
                  routes:
                  - route:
                      cluster: sample
                      retry_policy:
                        retry_on: 5xx
                        num_retries: 2
                        host_selection_retry_max_attempts: 2
                    match:
                      prefix: /
                      headers:
                      - name: ":method"
                        string_match:
                          exact: "OPTIONS"
                  - match:
                      prefix: /
                    route:
                      timeout: 200s
                      retry_policy:
                        retry_on: 5xx
                        num_retries: 2
                        host_selection_retry_max_attempts: 2
                response_headers_to_add:
                - header:
                    key: X-Content-Type-Options
                    value: nosniff
                  append: false
                - header:
                    key: X-XSS-Protection
                    value: "1; mode=block"
                  append: false

```

```yaml
# service.yaml
kind: Service
apiVersion: v1
metadata:
  name: sample
  labels:
    app: sample
spec:
  type: NodePort
  selector:
    app: sample
  ports:
    - name: service
      port: 8080
      targetPort: 9002
      protocol: TCP
    - name: admin
      port: 9004
      protocol: TCP
```

```go
package main

import (
	"fmt"
	"net/http"
)

func handler(writer http.ResponseWriter, request *http.Request) {
	fmt.Fprintf(writer, "success")
}

func main() {
	http.HandleFunc("/", handler)
	http.ListenAndServe(":8080", nil)
}
```

### 試したこと

golang用のDockerfileは問題なくbuildできている。
envoyのdocker imageも問題なさそう。
純粋にネットワークの問題だけだと思っているのですが具体的な原因が判明できず苦戦しています。
どんな些細なことでもいいのでご指摘いただけると嬉しいです。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


Kubernetes: マイクロサービスを疎通できるようにしたい

タイトルにある通り、docker内に以下の設定がされていることは確認できているが、curlでipにアクセスすると404エラーが帰ってきて、index.htmlが見つからない状況になっている。
stackdriverからのログを追って、エラーを確認したところ、usr/share/nginx/html/healthcheckを読みにいっているのようなので、2つ目のコードを試しましたが、同じエラーがでて何も変わらずでした。

何かわかることありましたらご教示いただけませんでしょうか？


nginx.conf
```ここに言語を入力
 server {
        listen 80;
        charset utf-8;

        location /healthcheck/ {
            root /aaa;
            index index.html;
        }

        location / {
            include uwsgi_params;
            uwsgi_pass uwsgi;
        }

    }
```

Dockerfile
```
FROM nginx
RUN mkdir /aaa
RUN echo "200" | tee index.html

COPY ./nginx.conf /etc/nginx/nginx.conf
CMD ["nginx", "-g", "daemon off;","-c","/etc/nginx/nginx.conf"]
```


試したことnginx.conf
```
server {
        listen 80;
        charset utf-8;

        location /healthcheck/ {
            root /usr/share/nginx/html;
            index index.html;
        }

        location / {
            include uwsgi_params;
            uwsgi_pass uwsgi;
        }

    }
```



試したことDockerfile
```
FROM nginx
RUN mkdir /usr/share/nginx/html/healthcheck
RUN echo "200" | tee /usr/share/nginx/html/healthcheck/index.html

COPY ./nginx.conf /etc/nginx/conf.d/nginx.conf
CMD ["nginx", "-g", "daemon off;","-c","/etc/nginx/conf.d/nginx.conf"]
```

nginxでindex.htmlはあるはずなのに404 Not Foundエラーが帰ってきてしまう。

kubectl execの-i,-tオプションをおまじない的に使ってきましたが、本当の意味が分からず悩んでいます。
以下の[リファレンス](https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#exec)を見ると、
- -i: Pass stdin to the container
- -t: Stdin is a TTY
と書いてあります。

コンテナ内部でlsを実行し、応答を表示することを期待して以下のコマンドで違いが出るかを試しました。
オプション無し、-i が付かない場合はエラーになるかと思ったのですが、オプションの有無に関わらず全て期待通りに動作しました。
なぜこのような動作になるのかご教示いただけないでしょうか。

あと、-iと-tって同じことを言っている気がするのですが違いって何なのでしょうか。
そもそもttyってなんだっけとかは最低限ググってみたのですが。。

**実験結果**
```powershell
PS C:\k8s\dojo>  kubectl exec liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -t liveness-check -- ls /usr/share/nginx/html/index.html 
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -i  liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -it liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html
```

**pod作成に利用したyaml**
```
apiVersion: v1
kind: Pod
metadata:
  name: liveness-check
spec:
  containers:
  - image: nginx
    name: nginx
    livenessProbe:
      httpGet:
        port: 80
        path: /
      failureThreshold: 5
      periodSeconds: 5
```

自環境の情報
```
PS C:\k8s\dojo> minikube version
minikube version: v1.16.0
commit: 9f1e482427589ff8451c4723b6ba53bb9742fbb1

PS C:\k8s\dojo> kubectl version
Client Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.0", GitCommit:"af46c47ce925f4c4ad5cc8d1fca46c7b77d13b38", GitTreeState:"clean", BuildDate:"2020-12-08T17:59:43Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"windows/amd64"}
Server Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.0", GitCommit:"af46c47ce925f4c4ad5cc8d1fca46c7b77d13b38", GitTreeState:"clean", BuildDate:"2020-12-08T17:51:19Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"linux/amd64"}
```

kubectl execの-i と -t オプションについて

### 前提・実現したいこと
Azure kubernetesで静的ipアドレスを設定したいのですが，でpublic ipアドレスを読む権限がないといった趣旨のエラーメッセージが出ます．

### 発生している問題・エラーメッセージ

```
Name:                     kube-sample
Namespace:                default
Labels:                   <none>
Annotations:              service.beta.kubernetes.io/azure-load-balancer-resource-group: myResourceGroup
Selector:                 app=kube-sample
Type:                     LoadBalancer
IP Families:              <none>
IP:                       
IPs:                      <none>
IP:                       
Port:                     <unset>  443/TCP
TargetPort:               443/TCP
NodePort:                 <unset>  32430/TCP
Endpoints:                <none>
Session Affinity:         None
External Traffic Policy:  Cluster
Events:
  Type     Reason                   Age                 From                  Message
  ----     ------                   ----                ----                  -------
  Normal   EnsuringLoadBalancer     26h (x43 over 29h)  service-controller    Ensuring load balancer
  Warning  ListPublicIPs            26h (x43 over 29h)  azure-cloud-provider  Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '' with object id '' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions//resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
  Warning  UnAvailableLoadBalancer  77s                 service-controller    There are no available nodes for LoadBalancer
  Normal   UpdatedLoadBalancer      52s                 service-controller    Updated load balancer with new hosts
  Normal   EnsuringLoadBalancer     41s (x5 over 117s)  service-controller    Ensuring load balancer
  Warning  ListPublicIPs            41s (x5 over 116s)  azure-cloud-provider  Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '<client id>' with object id '<object id>' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions/<subscription id>/resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
  Warning  SyncLoadBalancerFailed   41s (x5 over 116s)  service-controller    Error syncing load balancer: failed to ensure load balancer: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '<client id>' with object id '<object id>' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions/<subscription id>/resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
```

### 試したこと
サービスプリンシパル周りを試したり，ロールを追加したりしました．うまく行っていなかったのかと何度かロールの追加をしたりしたので複数あったりちょっとごちゃごちゃしています．ネットワーク共同管理者では権限が足りないのかと一番強そうな所有者権限を増やしたりしてみましたが，解決せず，ネットワーク共同管理者で十分なことは調べてわかりました．正直どこがどうなってどこに権限が足りないのかもうわかりません．そんなものpublic ipが必要な構成にこっちがしてるんだから察せよて思います．普段web的なのは死んでも触らない人なのでとても腹立たしいです．
かれこれ10日はこうして悩んでいます．助けてください．
![リソース](94f520bad2bedd24c3e036d33e41bab6.png)
![サブスクリプション](98c3667ac18f87bc71d862537397f0cf.png)
![なんで二個あるかわかんないけどpublic ip](14b7ae302d1311dff6b26c1dae1c567f.png)
![aksCluster](ff3088c8de212440a9bc3cabc894083b.png)
![resourceGroup](fdc4439b4f419be8985ac2cab17bc6c5.png)
![public ip](81ef1ebb3714b0bc5013c3ae376e9ace.png)

ちなみに実現したいことは，ASP.Net，nginx2つのコンテナーを一つのpodにのせたサイドカー構成です．
静的public ipアドレスでエンドポイントは一つ，
yamlでのデプロイ時のreplicaは1つで，podのオートスケールを使ってcpu負荷によって最大3つまでpodが増える様にしたいです．(ネットワーク系の用語まだ完全にはわからないんですけど自分の言ってることおかしくないですよね？)
コンテナはここの記述のものを流用します．
https://docs.microsoft.com/ja-jp/azure/container-instances/container-instances-container-group-ssl

デプロイのyamlです
```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kube-sample
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kube-sample
  template:
    metadata:
      labels:
        app: kube-sample
    spec:
      volumes:
      - name: nginx-config
        configMap:
          name: nginx-config
      - name: nginx-ssl
        secret:
          secretName: nginx-ssl
      containers:
      - name: app
        image: mcr.microsoft.com/azuredocs/aci-helloworld
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 250m
            memory: 256Mi
        ports:
        - containerPort:  80
      - name: side-car
        image: nginx
        ports:
        - containerPort: 443
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 250m
            memory: 256Mi
        volumeMounts:
        - name: nginx-config
          mountPath: /etc/nginx
          readOnly: true
        - name: nginx-ssl
          mountPath: /etc/nginx/ssl
          readOnly: true
---
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/azure-load-balancer-resource-group: myResourceGroup
  name: kube-sample
spec:
  loadBalancerIP: <ip address>
  type: LoadBalancer
  ports:
  - port: 443
  selector:
    app: kube-sample
```
今回の問題とは関係ないとは思いますが一応貼っておきます．

Azureで権限の付け方がわからない

### 実現したいこと

dockerのみでコンテナの冗長化構成を実現し、障害発生時にも運用を継続したい。
k8sは極力使わずdockerだけで実現できないか。
（k8sは利用方法が難しいため、できればdockerのみで実現したいと考えています）


### 前提

■動かしたいコンテナ
・CTFd
→URL：https://github.com/CTFd/CTFd

■用意できるサーバの台数
１０台

■実現したい構成

クライアント⇔ウェブアプリコンテナ（複数台）⇔DBコンテナ（複数台）

■冗長化構成を実現したい理由
このウェブアプリは、ある時間単位で、正答率を競い合うものであり、試合中にウェブアプリを落として、無効試合を作りたくないため
　　　　　　

### 試したこと
※dockerのみを利用した結果
できたこと
・DBコンテナのレプリケート

できないこと
・コンテナが落ちたときの通信先エンドポイントの切り替え
　（DB、ウェブアプリも利用しているコンテナが落ちた際に、切り替える方法がわかりません；；ヘルスチェックを常に投げ続け、コンテナの生存確認をすべきなのか、諦めてk8sを使うべきなのか判断ができません・・・）



浅学で申し訳ないですが、ご教授いただきたいです；；。
