常連

AWSのサービスである、SQSについてお聞きしたいことがございます。
SQSについては[こちら](https://qiita.com/nh321/items/8c419b49a12b12fd41b3)などの記事で調べ、実際にキューを作成し、メッセージを送信し、そのメッセージを受信し、ポーリングし表示させることができたのですが、実際にこれが、どういった場合に必要なのかが、いまいち検討がつきません。
自分の行なったことは、ただメッセージを送信し、受信しただけなのですが、これが必要な場合があるのでしょうか？

どなたかお詳しい方がいらっしゃいましたら、教えていただけましたら幸いです。
よろしくお願いします。

SQSの具体的な使用用途について

GoでAWS SQSからメッセージを取得しようとしています｡
```sqs.go
type SQSManager struct {
	Svc             *sqs.SQS
	QueueUrl        string
	QueueName       string
	WaitTimeSeconds int64
}
func New(QueueUrl, QueueName string, WaitTimeSeconds int) *SQSManager {
	sqsClient := &SQSManager{&sqs.SQS{}, QueueUrl, QueueName, int64(WaitTimeSeconds)}
	return sqsClient
}
func (m *SQSManager) RetrieveMessage() ([]*sqs.Message, error) {

	input := &sqs.ReceiveMessageInput{
		QueueUrl:            aws.String(m.GetQueueUrl()),
		MaxNumberOfMessages: aws.Int64(10),
		WaitTimeSeconds:     aws.Int64(m.WaitTimeSeconds),
	}

	fmt.Println(input)
	resp, err := m.Svc.ReceiveMessage(input)

	if err != nil {
		return nil, err
	}

	return resp.Messages, nil
}
```
mainから呼び出します
```mail.go
func main() {
	cfg := config.InitEnvironment()
	sqsClient := sqs.New(cfg.SQS.URL, cfg.SQS.NAME, 30)
	msg, err := sqsClient.RetrieveMessage()
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println(msg)
}
```
上記の内容で下記のエラーが出てしまいます｡下記の内容からnilに対してデータを入れようとしていると思っているのですが具体的にどこを直せばよいのかが分からず､教えていただければと思います｡
なおSQSにはデータが入っていることを確認しています｡
mail_sender  | panic: runtime error: invalid memory address or nil pointer dereference

```
mail_sender  | {
mail_sender  |   MaxNumberOfMessages: 10,
mail_sender  |   QueueUrl: "http://localhost:4566/000000000000/send-message-queue",
mail_sender  |   WaitTimeSeconds: 30
mail_sender  | }
mail_sender  | panic: runtime error: invalid memory address or nil pointer dereference
mail_sender  | [signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x220964]
mail_sender  | 
mail_sender  | goroutine 1 [running]:
mail_sender  | github.com/aws/aws-sdk-go/aws/client.(*Client).NewRequest(...)
mail_sender  |  /go/pkg/mod/github.com/aws/aws-sdk-go@v1.44.144/aws/client/client.go:86
mail_sender  | github.com/aws/aws-sdk-go/service/sqs.(*SQS).newRequest(0x400019fd38?, 0xb4198?, {0x26b440?, 0x40000942a0?}, {0x2540e0?, 0x40000b42a0?})
mail_sender  |  /go/pkg/mod/github.com/aws/aws-sdk-go@v1.44.144/service/sqs/service.go:96 +0x34
mail_sender  | github.com/aws/aws-sdk-go/service/sqs.(*SQS).ReceiveMessageRequest(0x7a?, 0x40000942a0)
mail_sender  |  /go/pkg/mod/github.com/aws/aws-sdk-go@v1.44.144/service/sqs/api.go:1457 +0xc0
mail_sender  | github.com/aws/aws-sdk-go/service/sqs.(*SQS).ReceiveMessage(0x47bb68?, 0x40000b6008?)
mail_sender  |  /go/pkg/mod/github.com/aws/aws-sdk-go@v1.44.144/service/sqs/api.go:1527 +0x1c
mail_sender  | datadriven/src/infra/sqs.(*SQSManager).RetrieveMessage(0x400019fea8)
mail_sender  |  /go/src/src/infra/sqs/sqs.go:52 +0x1a4
mail_sender  | main.main()
mail_sender  |  /go/src/main.go:14 +0xf8
mail_sender  | exit status 2
mail_sender exited with code 1

```

GoでSQSからメッセージを取得したい

lambda1->sqs->lambda2と処理をしているのですが、最初のlambda1を実行してからlambda2が完了するまで数時間かかってしまうのですが、原因がわからずどのようにして速度を改善すればいいのかわからないです。
また、lambda1は五分ごとに20~50ほど実行され、queが溜まっていきます。

各lambdaとも実行時間は2分かからないぐらいです。
cloudwatch logsで確認したところlambda1からsqsまではすぐに呼び出され、sqsからlambdaへが時間がかかっているようです、、、
また、lambda1を実行すると利用可能なメッセージには数字は増えず、処理中のメッセージに溜まっていきます。

![イメージ説明](70901e088e2e48205ede44f5f09977d6.png)

sqsからlambda2を実行する際に同時実行数の確認をしたのですが、デフォルトの状態でも、個別に設定しても変わりませんでした。


また、デッドレターキューに関して特に設定などしていないんですが、設定したら速度の改善などはあるのでしょうか。。？

sqsへの理解が足りてないことが全ての原因であると理解はしています。。。
まとまってない内容ですが、教えていただけると幸いです。


sqs設定について
最大メッセージサイズ256kb
メッセージ保持期間４日
デフォルトの可視性タイムアウト１時間
配信遅延〇秒
メッセージ受信待機時間〇秒
コンテンツに基づく重複排除　-
高スループット FIFO　-
重複排除スコープ　-
FIFO スループット制限　- 

lambda2設定について
sqsトリガーに関して
バッチウィンドウ: 200
バッチサイズ: 60
同時実行数
修飾子 1
タイプ バージョン
プロビジョニングされた同時実行 100
ステータス 準備完了
詳細 -



sqs送信時のコード
```

message = {
        	"service"       : service,
        	"id"            : id
        }
        res = send_sqs_message(message)


def send_sqs_message(send_message):
    url = "https://sqs.ap-northeast-1.amazonaws.com/*******/ManagementRequest"
    obj = json.dumps(send_message)
    print("url")
    print(obj)
    try:
        print('===============')
        print('send_sqs_message')
        response = sqs.send_message(
            MessageBody = obj,
            QueueUrl = url,
            DelaySeconds = 0
        )
        print('===============')

    except Exception as e:
        print('=====Error=====')
        print('send_sqs_message')
        print('ERROR:' + str(e))
        print('===============')
        return None

    return response
```

sqs受け取り時のコード
```
def lambda_handler(event, context):

    print('event')
    print(event)

    for record in event['Records']:  # 引数；event内の'Records'を配列要素分Loop
        curBody = json.loads(record['body'])  # 'body'内のハッシュ要素をjson形式に変更(※)
        service = curBody["service"]
        table_id = curBody["id"]
```

sqsでlambdaを呼び出しているのですが、あまりにも遅い

## 質問
SQSのメッセージを受け取るLambda関数を作成してzipにしてアップロードしましたが、以下のエラーメッセージが表示されます。（Python3.8です。）

```
An error occurred (InvalidClientTokenId) when calling the ReceiveMessage operation: The security token included in the request is invalid.
```

IAMでアクセスキーを作成して`AWS_ACCESS_KEY_ID`と`AWS_SECRET_ACCESS_KEY`は正しいものを記載してると思っています。
またDocker-Lambdaでローカルで実行するとAWS SQSにアクセスすることは可能であることは確認しています。

何が原因かわからずどなたか教えていただけないでしょうか？

## ソースコード

```python
sqs_client = boto3.client(
     'sqs',
     endpoint_url=https://sqs.ap-northeast-1.amazonaws.com/***********,
     region_name=os.environ.get('REGION_NAME', 'ap-northeast-1'),
     aws_access_key_id=os.environ.get('AWS_ACCESS_KEY_ID', 'access_key_id'),
     aws_secret_access_key=os.environ.get('AWS_SECRET_ACCESS_KEY', 'secret_access_key')
 )

response = sqs_client.receive_message(
     QueueUrl=https://sqs.ap-northeast-1.amazonaws.com/***********/***********,
     MaxNumberOfMessages=10,
     VisibilityTimeout=60
)
```

## エラーログ
```
{
  "errorMessage": "An error occurred (InvalidClientTokenId) when calling the ReceiveMessage operation: The security token included in the request is invalid.",
  "errorType": "ClientError",
  "stackTrace": [
    "  File \"/var/task/lambda_function.py\", line 32, in lambda_handler\n    response = sqs_client.receive_message(\n",
    "  File \"/var/task/botocore/client.py\", line 357, in _api_call\n    return self._make_api_call(operation_name, kwargs)\n",
    "  File \"/var/task/botocore/client.py\", line 676, in _make_api_call\n    raise error_class(parsed_response, operation_name)\n"
  ]
}
```

lambdaでboto3を使ってSQS操作時にエラーが出る

こんにちは、

先日sqsが256kb以上のメッセージは送れないというエラーが発生しました。

調べたところ、AWS SQSのメッセージ最大サイズが256kbで、2GBに増やすにはJavaの「SQS拡張クライアントライブラリ」というものを導入してS3に保存する必要があることを知りました。

しかし公式ドキュメントなどを読んでも、全く理解ができず困っています。

webアプリの方はLaravlフレームワークを使用しています。

「SQS拡張クライアントライブラリ」の導入方法、使用方法など詳しい方がいましたら、ご教授いただけると嬉しいです。

よろしくお願い致します。

AWS SQS SQS拡張クライアントライブラリの導入・使用方法がわかりません。

Laravelでジョブを作れば、キューへメッセージを送る処理と実行する処理を自動化出来る事は理解しております。
ジョブ機能を介さずに追加されたメッセージをLaravelで処理する方法はあるのでしょうか？

## ご教示いただきたい事
最初に記載した内容と重複しますが、
Laravelのジョブ以外で追加したのメッセージを取得して、Laravelのジョブようにメッセージを解析して処理する方法は無いでしょうか？

## 想定している仕様
RDS（MySQL）とDynamoDBの同期をしたいと考えています。
DynamoDBのデータを取得して、アプリケーション側で処理をしてRDSに書き込みをしたいです。
そのために、下記の流れでデータを登録したいと考えています。   

1. DynamoDBでレコードを追加したタイミング（dynamodb streams）をトリガーにLambdaの関数を実行
2. AmazonSQSのキューにメッセージを追加
3. 定期的にキューを監視し、追加されていればRDSに書き込み。  

![イメージ説明](5a74da912d5f01f35ba229b64916f16c.jpeg)

また、本件とは別に複数ジョブは動いていますので、
SQSにはLaravelから送られたメッセージが保管されています。

## 状況
下記は実現できる状態です。

- LambdaからAmazon SQSにメッセージを追加
- LaravelからRDSへの書き込み処理

Laravelから独自に追加したメッセージ取得、解析して、ジョブ（もしくは、独自の処理）を実行する方法がわからない状態です。  


### 試した事、調べた事
#### Lambdaから直接、RDSへの書き込む。
LambdaでRDSを連携する場合、コネクション上限に達してしまう場合があるため現実的では無い。

#### スケジュール（Cron）でDynamoDBを監視して同期する処理を作る
RDSのDBに都度未同期のレコードがあるか検索する必要があるため、クエリの実行回数が多くなってしまいDBが重くなってしまいます。

【Laravel】【AWS SQS】キューに直接追加したメッセージを処理する方法はありますか？

### 前提・実現したいこと

severless flamework
aws lambda
aws sqs
に関する質問です。

使用している言語は、typescript+nodejsです。

#### やりたいこと
sqsにメッセージを受信したらlambdaが起動し、そのメッセージをもとに、
1 jsonファイルを作成→
2 取得したjsonファイルのデータから一部外部のapiを叩いてデータを追加→
3 完成したデータをもとにcsvファイルを作成
ということを行いたいです。

しかし、2の外部のapiを叩くことができません。。
今一番予想しているのは、SQSHandlerのなかで外部APIを叩けない仕様になっているのではないかと思っています。apiとしてデプロイすると動くことは確認済みなのですが、sqsでデプロイすると動かないためです。
エラーも出してくれないため、内部でどんなことが起きているのかもわかりません。。
serverless/lambdaの知見がある方、ぜひお力添えいただきたいです。

### 該当のソースコード

handler.ts
```typescript
import { SQSHandler } from 'aws-lambda';
import 'source-map-support/register';
import fetch from 'node-fetch'

export const hello: SQSHandler = async (event, _context) => {
    //sqsに受信されるメッセージをjsonで取得
    const data = JSON.parse(event.Records[0].body);

    //jsonファイルからデータを変数に格納するコードは省略します
  
    //sqsから作成したjsonファイルのみではデータが不足しているため、外部apiを叩いて不足しているデータを取得、その際に条件分岐する必要がある。apiUrlはapiを叩くためのurlを格納するための変数。
    let apiUrl = `` 
        if (itemAlias.variant_title) {
            const variantId = itemAlias.variant_id;
            apiUrl = `https://url${variantId}.com` //適当な文字列にしています。
        }
        if (!itemAlias.variant_title) {
            const productId = itemAlias.product_id;
            apiUrl = `https://url${productId}.com` //適当な文字列にしています。
        }
  
    console.log(apiUrl); //出力される 条件分岐はうまくいき、apiを叩くためのurlを取得できていること確認
    
      (async () => {
        try {
            await console.log('hellohello'); //出力されるため、この即時実行関数に問題ないことは確認。
            const metaFieldJson = await fetch(apiUrl);
            await console.log(metaFieldJson); //出力されない fetchがうまくいっていない様子。エラーも出力されない。
            const kikakuList = await metaFieldJson.json();
            let kikakuList1 = ``
            if (itemAlias.variant_title) {
                kikakuList1 = await kikakuList.metafields[0].value;
            }
            if (!itemAlias.variant_title) {
                kikakuList1 = ``
            }
            const kikakuList2 = await kikakuList.metafields[1].value;
    
            //csvを作成するコードは省略します  
    
        } catch (error){
            console.log(error);
        }
    })();
};
```

serverless.ts
```typescript
import { Serverless } from 'serverless/aws';

const serverlessConfiguration: Serverless = {
  service: {
    name: 'xxxxxxx',
  },
  frameworkVersion: '>=1.72.0',
  custom: {
    webpack: {
      webpackConfig: './webpack.config.js',
      includeModules: true
    }
  },
  // Add the serverless-webpack plugin
  plugins: ['serverless-webpack'],
  provider: {
    name: 'aws',
    runtime: 'nodejs12.x',
    apiGateway: {
      minimumCompressionSize: 1024,
    },
    environment: {
      AWS_NODEJS_CONNECTION_REUSE_ENABLED: '1',
    },
  },
  functions: {
    hello: {
      handler: 'handler.hello',
      events: [
        {
          sqs: {
            arn: 'xxxxxxxx'
          }
        }
      ]
    }
  }
}

module.exports = serverlessConfiguration;
```



### 試したこと

apiとしてデプロイしたらうまく動作しました。
しかし、sqshandlerのなかでfetchするとうまく動作しません。。
serverless/lambdaの知見がある方、ぜひお力添えいただきたいです。
よろしくお願い致します。

[serverless flamework] SQSHandlerの中で外部APIを叩くことはできない？

AWS SNSのSubscriberにはhttpやSQSを指定することが出来ますが、これらにはどういったメリット/デメリットがあり、どう使い分けるべきなのでしょうか。
一見すると、SQSを使用した場合はclientがポーリングする手間がある為、httpのエンドポイントを叩く方がシンプルで実装が楽なようにも感じます。