常連

社会貢献

質問力

回答者

ベストアンサー

拍手喝采

先生

自己紹介

有名人


### RDS パフォーマンスインサイト synch/mutex/mysys/key_cache። cache_lock の数値の意味が知りたいです

https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Reference.html
を見ると

> keycache->cache_lock mutex は MyISAM テーブルのキーキャッシュへのアクセスを制御します。Aurora MySQL では、この待機イベントは一時テーブルの使用に関連しています。key_buffer_size のサイズをチェックします。待機イベントのスパイク発生時の created_tmp_tables ないし created_tmp_disk_tables の値もチェックします。正当化される場合は、複数のキーキャッシュを使用します。

と記載がありました。

RDS は MySQL を利用しています。
キーキャッシュへのアクセス数がこの数値になると思っておりますが、キーキャッシュにアクセスするケースがどのような場合かを知りたいです。

SELECT, UPDATE, INSERT, DELETE のどれでもキーキャッシュにアクセスするものなのでしょうか？
MySQL についてわかる限りで調べてみたのですが、どのような場合にこの数値が増えるのかを知りたいです。

知りたい理由は、この数値が急激に上がることがあり調査をしているところです。

MyISAM のことがあまりよくわからないので詳しい方がいらっしゃいましたら教えていただけると助かります。


RDS パフォーマンスインサイト synch/mutex/mysys/key_cache። cache_lock の数値の意味について

# 解決したいこと
AWS CloudFomationのテンプレートから，CodePipelineを通してアプリケーションのデプロイを行いたいのですが，エラーが発生してしまいます．

# エラー内容
以下の通りです．念のためユーザーIDは伏せております．

User: arn:aws:sts::XXXXXXXXXXXX:assumed-role/AWSCloudFormationServiceRole-ap-northeast-1-common/AWSCloudFormation is not authorized to perform: states:CreateStateMachine on resource: arn:aws:states:ap-northeast-1: XXXXXXXXXXXX:stateMachine:LambdaStateMachine-pkFK3z2ddjQB (Service: AWSStepFunctions; Status Code: 400; Error Code: AccessDeniedException; Request ID: 3f3650eb-7206-4d60-97ed-f802205e242f; Proxy: null)

「ステートマシンを作成する権限がない」と言われていると思うのですが，StepFunctionsのGUI上から操作すると，普通にステートマシンを作成できます．

また，CloudFomationの実行ロールには，**AWSStepFunctionsFullAccess**のポリシーを付与している状態になります．

詳しい方がおりましたら，解決策をご教授していただきたいです．よろしくお願いいたします．

【AWS】CloudFomationのテンプレートからStepFunctionsのステートマシンを作成できない

## 質問したいこと
interface を引数に持つ関数の内部で、switch 文を使って引数の型ごとに処理を分けるときにどのようにしたら簡潔にコードをかけるかわからない

## 環境
* Ubuntu 18.04
* go 1.14.2

## 問題の詳細
挿入ソートのコードを go を使って書いています。
```go
package insertsort

func insertSort(x interface{}, size int) {
	switch value := x.(type) {
	case *[]int:
		for i := 0; i < size; i++ {
			tmp := (*value)[i]
			j := i - 1

			for j >= 0 {
				if tmp < (*value)[j] {
					(*value)[j+1] = (*value)[j]
					(*value)[j] = tmp
					j--
				} else {
					break
				}
			}
		}
	case *[]string:
		for i := 0; i < size; i++ {
			tmp := (*value)[i]
			j := i - 1

			for j >= 0 {
				if tmp < (*value)[j] {
					(*value)[j+1] = (*value)[j]
					(*value)[j] = tmp
					j--
				} else {
					break
				}
			}
		}
	default:

	}
}

```

引数には整数の配列や文字列の配列などを許容したくて `interface{}` にしています。中の処理では、型ごとに `switch` を使って分岐しているのですが、 `*[]int` のブランチと `*[]string` のブランチで中身は全く同じになってしまっています。

これを解決するために分岐の部分を
```go
case *[]int, *[]string:
```

のように書いてみたのですが、`invalid indirect of value (type interface {})` というエラーが出てしまいます。

この書き方だと上のブランチのほかに `*[]float64` などどんどん分岐を増やしていくと重複だらけのコードになってしまうので困っているのですが、どのように書くのが正しいのでしょうか？

よろしくお願いいたします。

Golang で switch 文による型ごとの処理

google chromeを使ってAWS上でlaravelを使った作成を行っております。
プレビューするとVFS connection does not existと出現し、作業ができなくなってしまいます。
しかし、Microsoft Edgeで試したところ問題なく表示できました。
この場合、google chromeの設定から閲覧履歴のデータの削除、Cookieの削除などを行いましたが、改善できませんでした。
どなたか改善方法をご教示いただけないでしょうか。
よろしくお願いいたします。

google chrome でAWS cloud9上でプレビューするとVFS connection does not existと表示され改善できません。

ファイルアップローダーのような仕組みのシステムを作っています。
アップローダーと一緒に、ダウンロード用のURLを発行する機能も実装しているのですが、想定した挙動をしません。

具体的には目的ごとに２つのファイル名があり、ダウンロードされたファイルは後者のファイル名にしたいです。
- ストレージにアップロードするファイル名（重複しないランダム文字列）
- ダウンロード用のファイル名（日本語）

S3から署名URLを発行していた時は実装できていました。
CloudFront経由で署名URLで発行するように調整したところ、ダウンロードしたファイル名を変更できなくなりました。

CloudFrontでファイル名を指定する方法は無いでしょうか？

## システムの概要
S3バケットにファイルをアップロードします。
ダウンロードしたいユーザーには、別途ダウンロードURLを通知します。
通知に記載されたダウンロードURLを経由して、S3からファイルをダウンロードします。

![イメージ説明](74782240b928d43c7d118569bb6cf94c.png)

### 以前までの仕様と変更した経緯
元はS3の署名URL機能でダウンロードリンクを作成していました。
laravelで開発していますので、下記の様に実装できていました。

```php
$disk = Storage::disk(env('STORAGE_TYPE', 's3')); 
return $disk->temporaryUrl(
    'upload/abcdefghi.pdf',
    now()->addDay(1),
    [
        'ResponseContentDisposition' => 'attachment; filename=' . rawurlencode('ファイル名.pdf')
    ]
);
```

しかし、生成されたリンクがNotFound(404)やForbidden(403)の場合、XMLがパースされたエラーページになってしまいます。
パースされた情報だと、ユーザーに状況が伝わらないため、CloudFrontのエラー出し訳をすることにしました。


## 状況
CloudFront経由してダウンロードURLの生成、URLからファイルの取得はできます。
エラーは発生していない様です。

ファイル名の指定と、（本件とは別ですが）ファイルのダウンロードが出来ません。（ブラウザで表示されてしまいます。）

後述しますが、```response-content-disposition=attached; filename=(ファイル名)```を記述してもそもそも、効いていない（パラメータの解析？）がされていないように思います。

## 環境
### アプリケーション
下記の環境で実装しています
環境名|バージョン
---|---
php|7.3.13
aws-sdk-php|3.109
laravel|5.8.*

#### 処理
S3については前述した通りです。
CloudFrontについては下記の様な処理を書いています。

```php
use Aws\CloudFront\CloudFrontClient;
use Aws\Exception\AwsException;

public function getCloudFrontDownloadUrl() {
    $client = new CloudFrontClient([
        'profile' => 'default',
        'region' => env('AWS_DEFAULT_REGION', 'ap-northeast-1'),
        'version' => 'latest'
    ]);
    
    // 有効期限
    $expires = time() + 24 * 60 * 60;

    // URL設定
    $cloudFrontDomain = 'https://xxxxxxx.cloudfront.net/';
    $url = $cloudFrontDomain
        . 'upload/abcdefghi.pdf'
        . "?response-content-disposition=attachment; filename=" .  rawurlencode('ファイル名.pdf');

    return $client->getSignedUrl([
        'url' => $url,
        'expires' => $expires,
        'private_key' => '(プライベートキーファイル.pem)',
        'key_pair_id' => '(アクセスキーID)'
    ]);
}
```

ファイル名の指定は下記の処理を、URLのパラメータとして追加する事で対応できると考えていました。
> response-content-disposition=attachment; filename=(ファイル名)

公式ドキュメントでは確認できなかったのですが、CloudFrontの署名URL実装方法を見ていると下記の様な指定方法をしていたのでこの方法を取りました。

### サーバー
AWSで構築しています。
CloudFront、S3で特筆すべき設定は下記です。

#### CloudFrontの設定
CloudFrontとS3を連携しますので、デフォルトの状態から下記の設定を変更しています。
それ以外は、デフォルトの設定のままです。

設定名|設定値
---|---
Origin Domain Name| test_bucket.s3.amazonaws.com
Restrict Bucket Access|yes
Grant Read Permissions on Bucket|Yes, Update Bucket Policy

#### S3の設定
前項でポリシーをアップデートしていますので下記の様な構成になっています。

```
{
    "Version": "2008-10-17",
    "Id": "PolicyForCloudFrontPrivateContent",
    "Statement": [
        {
            "Sid": "1",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::cloudfront:user/CloudFront Origin Access Identity ***"
            },
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::test_bucket/*"
        }
    ]
}
```

【CloudFront】【PHP】署名URL発行時に独自のファイル名を指定したい

Go言語について教えてください。
構造体を用いた場合の
クラスのソート方法が分かりません。

サンプルコードを示して教えて頂けないでしょうか？

Go言語で構造体を用いたソートがしたい

webアプリ(springbootでwarを作成してtomcatにデプロイ)のメモリの増加を調査していて、jmeterで10時間10tpsで処理を流しました。
jstatコマンド毎秒計測し、S0U+S1U+EU+OUを足したtomcatの使用済み領域は以下の図の一番上の内容になりました。
また、ygc、fgcは以下のように実行されているようです。(jstatコマンド参照)

![イメージ説明](104212684fae3d696569d52e9637c72d.png)

tomcatの最大ヒープサイズは512に設定しているため最大値付近になるとfgcが走るのは良いのですが、
途中、7500-15000秒、25000-30000秒あたりのメモリの急増の原因がわかりません。
一定の間隔でリクエストを投げて処理も滞留していないため、メモリの増加傾向も一定の傾きになるものと考えております。

aws ec2 m5のインスタンスでwebサーバを立てて計測しています。
メモリ急増の原因、あるいは調査方法をご教授お願いいたします。

■以下のようなことを調べました。  

・ freeコマンドで調べたusedメモリの推移。
メモリが急増する7500秒辺りで増加しています。tomcat分の増加なので問題なさそうです。
一時間間隔で振れているのはjmapでメモリのヒープダンプを取っているためです。
![イメージ説明](c8969c738a4f5b6cbc6dc75309925996.png)  

・ jmeter.logに吐き出されるスレッドのstartedからfinishedの時間。
今回10tpsで実施しているため、360000リクエストをwebアプリに投げていておおよそ0.25秒で処理が返ってきます。
これを見ると処理が滞留していないことが確認できます。
一時間間隔で振れているのはjmapでメモリのヒープダンプを取っているためです。
![イメージ説明](75fd56eb3b3256fde1abcbebc2b9b586.png)

・ vmstatコマンドで調べたユーザのupu使用状況(us)
メモリ急増箇所でcpuの使用率が増加しています。
![イメージ説明](12b04c3cee899248e106f0773b52ac47.png)

tomcat8のメモリの増加について

AWSのインフラをCDKで管理しています。

先週までは普通にデプロイできていたはずなのですが、なぜか今日はTargetGroupのプロパティにパスが含まれていると以下の通りエラーになりました。何か失念しているのでしょうか？

`Health check paths are not supported for Network Load Balancer health checks` 

同様の事象に遭われた方、いらっしゃいましたら教えて下さい。

CDKでTargetGroupを更新する際に、Health check paths are not supported for Network Load Balancer health checks

現在、既存のrailsアプリケーションの開発をdocker上で動かそうと思っています。

これまではローカル環境で行なっていたので`bundle install`のインストール先をvendor/bundleに指定していました。

しかし、Docker上でvendor/bundleにインストールする必要はなく、rubyイメージで指定されているように、コンテナ内の/usr/local/bundleにインストールされることを想定に開発を進めたいと思っています。

そのため、ローカル環境で開発していたが故に存在していたvendor/bundle内に存在するgemたちをコンテナ内にコピーされることを回避したいと思っています。

また、vendor/bundleにインストールされるように指定している.bundle/configファイルもコンテナ内にコピーされることを回避したいです。

現在、ディレクトリ構造は以下の通りです。
```
myapp
  ├── backend
  │     ├── .bundle
  │     │      ├── config
  │     ├── vendor
  │     │       ├──bundle
  │     │
  │     ├──Dockerfile
  │     │ 
  │     ├──.dockerignore
  └── docker-compose.yml
```

myappディレクトリ内にdocker-compose.ymlファイルとbackendディレクトリがあり、
backendディレクトリにrailsに必要なディレクトリ、ファイルが存在すると行った形になっています。

.dockerignoreファイルを以下のように記載しました。
```
/vendor/bundle/

/.bundle/
```

しかし、この状態で`docker-compose build`を実行し、コンテナを立ち上げてみたところ.dockerignoreで指定したはずのvendor/bundleディレクトリがまだ存在している状態になっていました。

これはどういったことが原因で.dockerignoreの設定が反映されていないのでしょうか？

docker-compose.yml
```
version: "3"
services:
  backend:
    build:
      context: ./backend
    command: bash -c "rm -f tmp/pids/server.pid && bundle exec rails s -p 3000 -b '0.0.0.0'"
    volumes:
      - ./backend:/myapp
      - bundle:/usr/local/bundle
    ports:
      - "3000:3000"
    links:
      - db
  db:
    image: postgres:12
    ports:
      - "5432:5433"
    volumes:
      - postgresql-data:/var/lib/postgresql/data
  frontend:
    build:
      context: ./frontend
    volumes:
      - ./frontend:/myapp
      - /myapp/node_modules
    ports:
      - "8080:8080"
volumes:
  postgresql-data:
    driver: local
  bundle:
    driver: local
```

Dockerfile
```
FROM ruby:2.5.0
RUN apt-get update -qq && apt-get install -y nodejs postgresql-client
RUN mkdir /myapp
WORKDIR /myapp

COPY entrypoint.sh /usr/bin/
RUN chmod +x /usr/bin/entrypoint.sh
ENTRYPOINT ["entrypoint.sh"]

COPY Gemfile /myapp/Gemfile
COPY Gemfile.lock /myapp/Gemfile.lock
RUN bundle install
COPY . /myapp

EXPOSE 3000

CMD ["rails", "server", "-b", "0.0.0.0"]
```

.dockerignoreの反映がされない。 docker-compose Dockerfile

以下のクラスメソッドさんのブログのように、Session Manager経由でEC2インスタンスにSSHします。そのうえで、GUIのDBクライアントからSSH Tunnelを使ってプライベートサブネットのRDSにアクセスしたいと考えています。
https://dev.classmethod.jp/cloud/aws/session-manager-launches-tunneling-support-for-ssh-and-scp/

しかし、`~/.ssh/config` の ProxyCommandを読み取ったり、またはProxyCommandに任意のコマンドを指定できるGUIのRDBクライアントが見つけられていません。

いまのところ pgAdmin4とDBeaverは未対応のようでした。

もしご存じの方がいらっしゃいましたら教えていただけると幸いです。私も見つけたらセルフ回答します。

ProxyCommandとして`aws ssm start-session` を利用できるRDBのGUIクライアントはありますか？

機械学習をgoogle colaboratory を使用して学ぼうと思っています。
自分はPython3の基礎程度は理解しているつもりです。
インターネットを見ると、courseraのMachine Learningコース、または東京大学のデータサイエンティスト育成講座という本を使うのが良いというのがわかりました。
前者は英語で、後者は本なので完全に履修したとき、自分がどれほど機械学習の知識がつくのかが掴めません。実際にこれらのどちらかで学んだ場合、google colaboratory でpython を使って多少なりとも実装できるものなのでしょうか。また、どちらの方法がいいか、もしくはそれ以外に最善な方法があれば教えてください。