常連

## テーマ、知りたいこと

Kubernetesで使われるkubectlコマンドにおいて、kubectlをみなさんどのように読んでいますか？

1. クベシーティーエル
2. クベコントロール
3. キューブシーティーエル
4. キューブコントロール
5. その他

ちなみに私は４番派です。

## 背景、状況

みんなの読み方が気になる



kubectlの読み方

タイトルにある通り、docker内に以下の設定がされていることは確認できているが、curlでipにアクセスすると404エラーが帰ってきて、index.htmlが見つからない状況になっている。
stackdriverからのログを追って、エラーを確認したところ、usr/share/nginx/html/healthcheckを読みにいっているのようなので、2つ目のコードを試しましたが、同じエラーがでて何も変わらずでした。

何かわかることありましたらご教示いただけませんでしょうか？


nginx.conf
```ここに言語を入力
 server {
        listen 80;
        charset utf-8;

        location /healthcheck/ {
            root /aaa;
            index index.html;
        }

        location / {
            include uwsgi_params;
            uwsgi_pass uwsgi;
        }

    }
```

Dockerfile
```
FROM nginx
RUN mkdir /aaa
RUN echo "200" | tee index.html

COPY ./nginx.conf /etc/nginx/nginx.conf
CMD ["nginx", "-g", "daemon off;","-c","/etc/nginx/nginx.conf"]
```


試したことnginx.conf
```
server {
        listen 80;
        charset utf-8;

        location /healthcheck/ {
            root /usr/share/nginx/html;
            index index.html;
        }

        location / {
            include uwsgi_params;
            uwsgi_pass uwsgi;
        }

    }
```



試したことDockerfile
```
FROM nginx
RUN mkdir /usr/share/nginx/html/healthcheck
RUN echo "200" | tee /usr/share/nginx/html/healthcheck/index.html

COPY ./nginx.conf /etc/nginx/conf.d/nginx.conf
CMD ["nginx", "-g", "daemon off;","-c","/etc/nginx/conf.d/nginx.conf"]
```

nginxでindex.htmlはあるはずなのに404 Not Foundエラーが帰ってきてしまう。

## 事象

- TLS Handshake で失敗する場合、しない場合があり、Webページが表示されない。
- 携帯が２台あり、どちらもSIMの回線を使用し、Webページにアクセスすると、片方は成功、片方は失敗
- 成功している場合は１回の応答でServer Hello, Change Cipher Spec, Encrypted Handshake Messgeをまとめて送信しています。対するACKも１回のみです。
- 完全に見れないのであればFirewall設定を疑いましたが、片方は見れている状態です。
- tcpdump(& wireshark) で見た限り、以下に挙げる状態のときはTCP retransmission が発生して結果的にブラウザではタイムアウトとなるようです。(wireshark から抜粋)
- TCP Out-Of-Order 時にWireshark では (reassembly error, protocol TCP: New fragment overlaps old data) が出ています。

|No.|Src|Dest|Proto|Info|
|:--|:--:|--:|
|1|Internet|HAProxy|TCP|xxx -> 443 SYN|
|2|HAProxy|Internet|TCP|443 -> xxx SYN,ACK|
|3|Internet|HAProxy|TCP|ACK|
|4|HAProxy|HOST[123]|TCP|yyy -> 30397 SYN|
|5|HOST[123]|HAProxy|TCP|30397 -> yyy SYN,ACK|
|6|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|7|Internet|HAProxy|TLS1.2|Client Hello|
|8|HAProxy|Internet|TCP|443 -> xxx ACK|
|9|HAProxy|HOST[123]|TLS1.2|Client Hello|
|10|HOST[123]|HAProxy|TCP|30397 -> yyy ACK|
|11|HOST[123]|HAProxy|TLS1.2|Server Hello|
|12|HOST[123]|HAProxy|TLS1.2|Certificate(TCP segment of a reassembled PDU)|
|13|HOST[123]|HAProxy|TLS1.2|Server Key Exchange, Server Hello Done|
|14|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|15|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|16|HAProxy|HOST[123]|TCP|yyy -> 30397 ACK|
|17|HAProxy|Internet|TLS1.2|Server Hello|
|18|HAProxy|Internet|TLS1.2|Certificate(TCP segment of a reassembled PDU)|
|19|HAProxy|Internet|TLS1.2|Server Key Exchange, Server Hello Done|
|20|HAProxy|Internet|TCP|[TCP Out-Of-Order] 443 -> xxx ACK|
|21|HAProxy|Internet|TCP|[TCP Out-Of-Order] 443 -> xxx ACK|
|22|HAProxy|Internet|TCP|[TCP Retransmission] 443 -> xxx ACK|

... 以下Retransmissionが続く


## 質問

- 原因となっている場所はどこでしょうか
- 何を他に試せばよいでしょうか
- 何を直せば良いでしょうか 

## 前提

現在、自宅にてサーバをたてて検証環境を作っています。

### Kubernetes

- Host 1-3 で動作
- Port 30397（仮） でHTTPSリクエストを受けています。
- Port 30402（仮） でHTTPリクエストを受けています。
- NGINX ingress Controller & cert-manager でワイルドカード証明書を発行しています (www, *)
- L7 バランシング

### Haproxy

- TCP Mode
- 80, 443 Listen
- 80 -> 30402(仮） Forward
- 443 -> 30397(仮） Forward
- Docker-composeでRaspberry-pi上で動作
- HOST 1-3にL4 バランシング

### Router

- ルーターに仮想サーバ機能があるので80, 443 Open
- 80 -> HAProxy(80) Forward
- 443 -> HAProxy(443) Forward

## 構成
```
      (Internet)
          ↕
       [Router]
          ↕
    [Raspberry Pi] 
    ↕     ↕     ↕
[Host1] [Host2] [Host3]
```

### MW

1. Raspberry Pi: HAProxy(TCP Mode)
2. Host[1-3]: Kubernetes Worker(Master がいますがHaproxyから飛ばしていないので略します）

## 補足

L３レベルの話やNetworkに疎く、TCPやTLSの仕組みに詳しくないので素人構成ですが、なにかヒントをいただけると幸いです。

TLS 接続が成功する場合としない場合があります。(ERR: TCP retransmission?)

kubectl execの-i,-tオプションをおまじない的に使ってきましたが、本当の意味が分からず悩んでいます。
以下の[リファレンス](https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#exec)を見ると、
- -i: Pass stdin to the container
- -t: Stdin is a TTY
と書いてあります。

コンテナ内部でlsを実行し、応答を表示することを期待して以下のコマンドで違いが出るかを試しました。
オプション無し、-i が付かない場合はエラーになるかと思ったのですが、オプションの有無に関わらず全て期待通りに動作しました。
なぜこのような動作になるのかご教示いただけないでしょうか。

あと、-iと-tって同じことを言っている気がするのですが違いって何なのでしょうか。
そもそもttyってなんだっけとかは最低限ググってみたのですが。。

**実験結果**
```powershell
PS C:\k8s\dojo>  kubectl exec liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -t liveness-check -- ls /usr/share/nginx/html/index.html 
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -i  liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html

PS C:\k8s\dojo>  kubectl exec -it liveness-check -- ls /usr/share/nginx/html/index.html
/usr/share/nginx/html/index.html
```

**pod作成に利用したyaml**
```
apiVersion: v1
kind: Pod
metadata:
  name: liveness-check
spec:
  containers:
  - image: nginx
    name: nginx
    livenessProbe:
      httpGet:
        port: 80
        path: /
      failureThreshold: 5
      periodSeconds: 5
```

自環境の情報
```
PS C:\k8s\dojo> minikube version
minikube version: v1.16.0
commit: 9f1e482427589ff8451c4723b6ba53bb9742fbb1

PS C:\k8s\dojo> kubectl version
Client Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.0", GitCommit:"af46c47ce925f4c4ad5cc8d1fca46c7b77d13b38", GitTreeState:"clean", BuildDate:"2020-12-08T17:59:43Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"windows/amd64"}
Server Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.0", GitCommit:"af46c47ce925f4c4ad5cc8d1fca46c7b77d13b38", GitTreeState:"clean", BuildDate:"2020-12-08T17:51:19Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"linux/amd64"}
```

kubectl execの-i と -t オプションについて

### 前提・実現したいこと
Azure kubernetesで静的ipアドレスを設定したいのですが，でpublic ipアドレスを読む権限がないといった趣旨のエラーメッセージが出ます．

### 発生している問題・エラーメッセージ

```
Name:                     kube-sample
Namespace:                default
Labels:                   <none>
Annotations:              service.beta.kubernetes.io/azure-load-balancer-resource-group: myResourceGroup
Selector:                 app=kube-sample
Type:                     LoadBalancer
IP Families:              <none>
IP:                       
IPs:                      <none>
IP:                       
Port:                     <unset>  443/TCP
TargetPort:               443/TCP
NodePort:                 <unset>  32430/TCP
Endpoints:                <none>
Session Affinity:         None
External Traffic Policy:  Cluster
Events:
  Type     Reason                   Age                 From                  Message
  ----     ------                   ----                ----                  -------
  Normal   EnsuringLoadBalancer     26h (x43 over 29h)  service-controller    Ensuring load balancer
  Warning  ListPublicIPs            26h (x43 over 29h)  azure-cloud-provider  Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '' with object id '' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions//resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
  Warning  UnAvailableLoadBalancer  77s                 service-controller    There are no available nodes for LoadBalancer
  Normal   UpdatedLoadBalancer      52s                 service-controller    Updated load balancer with new hosts
  Normal   EnsuringLoadBalancer     41s (x5 over 117s)  service-controller    Ensuring load balancer
  Warning  ListPublicIPs            41s (x5 over 116s)  azure-cloud-provider  Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '<client id>' with object id '<object id>' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions/<subscription id>/resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
  Warning  SyncLoadBalancerFailed   41s (x5 over 116s)  service-controller    Error syncing load balancer: failed to ensure load balancer: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: Retriable: false, RetryAfter: 0s, HTTPStatusCode: 403, RawError: {"error":{"code":"AuthorizationFailed","message":"The client '<client id>' with object id '<object id>' does not have authorization to perform action 'Microsoft.Network/publicIPAddresses/read' over scope '/subscriptions/<subscription id>/resourceGroups/myResourceGroup/providers/Microsoft.Network' or the scope is invalid. If access was recently granted, please refresh your credentials."}}
```

### 試したこと
サービスプリンシパル周りを試したり，ロールを追加したりしました．うまく行っていなかったのかと何度かロールの追加をしたりしたので複数あったりちょっとごちゃごちゃしています．ネットワーク共同管理者では権限が足りないのかと一番強そうな所有者権限を増やしたりしてみましたが，解決せず，ネットワーク共同管理者で十分なことは調べてわかりました．正直どこがどうなってどこに権限が足りないのかもうわかりません．そんなものpublic ipが必要な構成にこっちがしてるんだから察せよて思います．普段web的なのは死んでも触らない人なのでとても腹立たしいです．
かれこれ10日はこうして悩んでいます．助けてください．
![リソース](94f520bad2bedd24c3e036d33e41bab6.png)
![サブスクリプション](98c3667ac18f87bc71d862537397f0cf.png)
![なんで二個あるかわかんないけどpublic ip](14b7ae302d1311dff6b26c1dae1c567f.png)
![aksCluster](ff3088c8de212440a9bc3cabc894083b.png)
![resourceGroup](fdc4439b4f419be8985ac2cab17bc6c5.png)
![public ip](81ef1ebb3714b0bc5013c3ae376e9ace.png)

ちなみに実現したいことは，ASP.Net，nginx2つのコンテナーを一つのpodにのせたサイドカー構成です．
静的public ipアドレスでエンドポイントは一つ，
yamlでのデプロイ時のreplicaは1つで，podのオートスケールを使ってcpu負荷によって最大3つまでpodが増える様にしたいです．(ネットワーク系の用語まだ完全にはわからないんですけど自分の言ってることおかしくないですよね？)
コンテナはここの記述のものを流用します．
https://docs.microsoft.com/ja-jp/azure/container-instances/container-instances-container-group-ssl

デプロイのyamlです
```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kube-sample
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kube-sample
  template:
    metadata:
      labels:
        app: kube-sample
    spec:
      volumes:
      - name: nginx-config
        configMap:
          name: nginx-config
      - name: nginx-ssl
        secret:
          secretName: nginx-ssl
      containers:
      - name: app
        image: mcr.microsoft.com/azuredocs/aci-helloworld
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 250m
            memory: 256Mi
        ports:
        - containerPort:  80
      - name: side-car
        image: nginx
        ports:
        - containerPort: 443
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 250m
            memory: 256Mi
        volumeMounts:
        - name: nginx-config
          mountPath: /etc/nginx
          readOnly: true
        - name: nginx-ssl
          mountPath: /etc/nginx/ssl
          readOnly: true
---
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/azure-load-balancer-resource-group: myResourceGroup
  name: kube-sample
spec:
  loadBalancerIP: <ip address>
  type: LoadBalancer
  ports:
  - port: 443
  selector:
    app: kube-sample
```
今回の問題とは関係ないとは思いますが一応貼っておきます．

Azureで権限の付け方がわからない

GKE環境です。クラスタにデプロイしようとしていますが、なぜか、nginxのPODだけデプロイが下記のエラーでコケてしまいます。

エラー
nginx: [emerg] "user" directive is not allowed here in /etc/nginx/conf.d/nginx.conf:1


**よく見ると、デフォルトで置いてあるnginx.confが読まれているようでした。ここまでは、エラーの原因は終えたのですが、ここから先どうすればいいのか詰まっています。何か確認すべき点などご存知でしたらご教示頂けませんでしょうか？**


nginx.conf
```ここに言語を入力
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    upstream uwsgi {
        server app-service.default.svc.cluster.local:3031;
        # server uwsgi:3031;
    }

    server {
        listen 80;
        charset utf-8;

        location / {
            include uwsgi_params;
            uwsgi_pass uwsgi;
        }

        location /healthcheck {
            return 200 'OK';
        }

        #location /check/ {
        #   root /usr/share/nginx/html;
        #   index index.html;

        #}

        #location /static {
        #   alias /static;
        #}
    }

}
```

Dockerfile
```
FROM nginx


COPY ./nginx.conf /etc/nginx/nginx.conf
CMD ["nginx", "-g", "daemon off;","-c","/etc/nginx/nginx.conf"]
```

GKE上にデプロイするとデフォルトのnginx.confが読み込まれてしまう

EKS Fargateは、1Nodeにつき、1Podで、動作します。

一般的なKubenetesのDaemonsetは、1Nodeにつき、指定したDeaemonsetが、1つのpodとして、起動します。

EKS FargateのDaemonsetは、例えばアプリケーション等のPodの、サイドカーとして起動するのですか？

EKS Fargate においてのDaemonsetの考え方について

AWSコンソールで作成したEKSクラスターにCloud9からkubectlを試みたところ，認証系のエラーにより失敗してしまいます．Cloud9やIAM周りの理解不足かと思われますが，原因や解決策についてご教示いただけますと幸いです．よろしくお願いいたします．

**手順の詳細**
 1. AWSコンソールからEKSクラスター "testCluster" を作成
・プライベートサブネットに設置し，NATゲートウェイを通ってインターネット接続
・クラスターエンドポイントアクセスは「プライベート」
・作成者は```AdministratorAccess```ポリシーを持つユーザ"testUser"
 2. AWSコンソールからCloud9インスタンスを作成
・"access via System Manager" を選択
 3. Cloud9のIAMロールを```AdministratorAccess```ポリシーを持つものに変更
 4. Cloud9に接続しAMTCを無効化
 5. ```$ aws configure```により "testUser" の認証情報を入力
・```$ aws sts get-caller-identity```で反映を確認
 6. ```$ aws eks update-kubeconfig --name testCluster --region ap-northeast-1```でkubeconfigを作成
 7. ```$ kubectl get svc```を実施するもエラーが出る：```error: You must be logged in to the server (Unauthorized)```

**参考にしたもの**
- 手順2~4は下記に基づくものです．AMTCはアクション制約があるため無効化し，AWS CLIプロファイルを設定しています．
・https://eks-for-aws-summit-online.workshop.aws/010_create_cloud9/10_create_cloud9.html
- 手順5~7は下記の「クラスター作成者の場合」に基づくものです．クラスター作成者とAWS CLIユーザを一致させています．
・https://aws.amazon.com/jp/premiumsupport/knowledge-center/eks-api-server-unauthorized-error/

**他に試したこと**
- Cloud9を用いずに，通常通り作成したec2インスタンスにSession Managerでアクセスし，上の手順5以降を実行したところkubectlは成功しました．このことからCloud9周りに原因があると疑っています．