常連

get_valueの"pt"に対して"abc"を渡すPythonプログラムがあります
これを実行することでdynamodbからgetItemしたいのですが、
以下のエラーが発生して対処方法がわかりません。


{"errorType":"ClientError","errorMessage":"An error occurred (ValidationException) when calling the GetItem operation: The provided key element does not match the schema","stackTrace":["  File \"/var/task/handler___vsctk___debug.py\", line 17, in lambda_handler\n

```python
def get_value(pt):
    print(type(pt))
    response = table.get_item(
            Key={
                 'pt': pt
            }
        )
    return response['Item']

```

```dynamodb
Attribute  type   keytype
id　　　　　String PK 
```

ptに渡されていますのは、<class 'str'>
ですのでdynamodbとの型やカラム名も一致していますし
実際にデータもあります。

対応方法がわかりませんのでご教示頂けないでしょうか？

DynamoDB キーのマッピングが正しくない

## AWS slackを組み合わせた検索システムの構築方法
やりたいこと：slackbotを使った検索システムの作成

slackbotに対して、メールアドレス(または氏名等の別情報)をメンションで投稿すると、裏で持っている情報(今はcsvしか無い)から該当者の氏名、電話番号等のプロフィールを返すようにしたいと考えています。(1万名ほどのデータです。)


## 背景、状況
前提として、弊社内にはオンプレのサーバーが無いため、クラウドサービスでの対応になります。
AWS dynamoDBとlambdaを使用するのがよいかと考えていましたが、部分一致での検索が多くなることが予想され、完全一致でないといけないパーティションキーが必要なdynamoDBは不向きかと思い始めました。
下記、想定される使用ケース等の詳細です。
ーーー
・裏で持つデータは、氏名、ID、電話番号、所属等の20列*1万行ほどのデータ
→今はcsvで保持しているので、それをDBに移すこととなります。月一程度で内容の更新予定です。
・ID、氏名、電話番号、メールアドレス列を部分一致で検索したいと考えています。所属等は検索できなくても問題ありません。氏名は同姓同名の可能性もあるので、検索の方法は検討中です。
・メンションによるリクエスト数は月間10000程度を想定しています。
・メンテナンスは私が一人で担当することになる予定です。
・費用はAWSの無料枠内でできればと考えていますが、実際費用感がどの程度になるかの検討がついていません。費用が発生するようでも、月数千円～1万円程度であれば問題ないと考えています。
・社内のみでの使用のため、100%ストップせずに運用しなければならない、といったレベル可用性は無くてもよいと考えています(費用との兼ね合いです)。
ーーーー

こういった場合は、AWS RDSでMySQL等を使用するのがいいのでしょうか？
slackbot -> API Gateway -> lambda -> MySQL(AWS RDS) でデータを検索、結果を返すのが良いのでしょうか？


弊社内で使用できるリソースはAWSくらいなので、AWSのサービスで解決したいと考えています。
なお、当方のレベルとしては
・slackbot -> webhook -> lambda &cloud watchを使用して定期的に投稿するslackbot
・slackbot -> API gateway -> lambdaを使用してメンションに応じてカスタムレスポンスするslackbot

を作成したことがあるくらいです。なおlambdaではpythonでコードを書いています。

以上、ご知見ありましたら是非ご教示ください。


AWSとslackを組み合わせた検索システムの構築方法

### 前提・実現したいこと
dynamoDBのクエリをlambdaで受けとりたいです。


### 発生している問題・エラーメッセージ
async関数list_albumsを作りDBから値を取得することはできました。
呼び出し元に値をreturnすると[object Promise]になってしまいます。
どのようにすればreturnを正常な値として受け取れるでしょうか？
```
result=[object Promise]
```

### 該当のソースコード

```ここに言語名を入力
exports.list_albums =async function(body,context){
    var params = {
        TableName: 'albums',
        ExpressionAttributeNames:{
            '#u': 'uniqueid'},
        ExpressionAttributeValues:{
            ':val_1': global.userId,
        },
        KeyConditionExpression: '#u = :val_1'
    };

    var result =await doQuery(params);
    console.log('check3='+result);
    return result;
};

function doQuery(parameter) {
    return new Promise((resolve, reject) => {
        docClient.query(parameter, (err, data) => {
            if (err) {
                console.log('[ERROR] DynamoDB Query Error: ', err);
                reject(err);
            } else {
                var arrstr ='';
                data.Items.forEach(function(album, index){
                    console.log(album.title);
                    arrstr = arrstr + album.title +"\n";
                    console.log('check1='+arrstr);
                });
                resolve(arrstr);
            }
        });
    });
}

```
```
//呼び出し元
var result =db_control.list_albums(body,context);
console.log('result='+ result); //ここが[object Promise]になる
```

### 試したこと
呼び出し元をasyncにして、呼び出しを
```
await db_control.list_albums(body,context);
```

### 追記
```
"use strict";
var AWS = require('aws-sdk');
var contents_get = require('./get_contents');
var db_control = require('./db_control');

const crypto = require("crypto");
AWS.config.region = 'ap-northeast-1';

global.messageid;
global.userId;
exports.handler = async function (event, context) {
  let body = JSON.parse(event.body);
  let signature = crypto
    .createHmac("sha256", process.env.CHANNELSECRET)
    .update(event.body)
    .digest("base64");
  let checkHeader = (event.headers || {})["X-Line-Signature"];

  if (signature === checkHeader) {
    if (body.events[0].replyToken === "00000000000000000000000000000000") {   
      let lambdaResponse = {
        statusCode: 200,
        headers: { "X-Line-Status": "OK" },
        body: '{"result":"connect check"}',
      };
      context.succeed(lambdaResponse);
      // ③接続確認エラーを確認する。

    } else {
       body.events.forEach(function(eve) {
        global.messageid =eve.message.id;
        global.userId =eve.source.userId;
        if (eve.message.text === 'アルバム'){
            global.userId =eve.source.userId;
            var result =await db_control.list_albums(body);  //ここのawaitがエラーになる
            console.log('result='+ result);
        }
        
    });
    }
  } else {
    console.log("署名認証エラー");
  }
};
```



としてみたのですが、これはエラー(unexpectedtoken)で通りませんでした。

asyncの戻り値がobject Promiseになってしまう

# 詳細

AWS DynamoDBにピーク時2000レコード/秒の書き込みを想定しています。

大量データを一括で書き込む場合には[BatchWriteItemを使用して書き込む](https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/WorkingWithItems.html#WorkingWithItems.BatchOperations)とドキュメントは記載しています。

> BatchWriteItem オペレーションには最大 25 の個々の PutItem リクエストと DeleteItem リクエストを含むことができ、最大 16 MB のデータを書き込めます。

しかしドキュメントに記載しているように1回のAPIコールで書き込める最大件数は25件ならば、2000レコードを書き込もうとすると80回もAPIをコールしなければなりません。

# 試してみたこと

まさかたった2000件を書き込むためにこんなことをしないといけないというのはあり得ないと思い、実際に試してみました。

テーブルは[チュートリアル](https://aws.amazon.com/jp/getting-started/tutorials/create-nosql-table/)のMusicテーブルです。

```ruby
client = ::Aws::DynamoDB::Client.new
items = (1..100).map do |n|
  { put_request: { item: { Artist: "すずき", SongTitle: "みんなのうた part#{n}" } } }
end
client.batch_write_item( request_items: { 'Music' => items })
```

```
[6] pry(main)> client.batch_write_item( request_items: { 'Music' => items })
Aws::DynamoDB::Errors::ValidationException: 1 validation error detected: Value '{Music=[WriteRequest(putRequest=PutRequest(item={Artist=AttributeValue(s=すずき, n=null, b=null, sS=null, nS=null, bS=null, m=null,
 l=null, nULL=null, bOOL=null), SongTitle=AttributeValue(s=みんなのうた part1, n=null, b=null, sS=null, nS=null, bS=null, m=null, l=null, nULL=null, bOOL=null)}), deleteRequest=null), 
...............
]}' at 'requestItems' failed to satisfy constraint: Map value must satisfy constraint: [Member must have length less than or equal to 25, Member must have length greater than or equal to 1]
```

すると上記のようにエラーが発生し、確かに25件が上限だということが確認できました。

# 知りたいこと

2000件のレコードをINSERTのに80回APIをたたく以外の方法がないというのはあり得ないはずなので、
単純に私が何か見落としているだけだと思っています。

2000件のレコードを効率よくINSERTするためにはどのようにすればいいのでしょうか。

DynamoDBに大量のデータを効率よくINSERTしたい

### 前提

顧客情報を入力して送信すると、
API Gateway REST APIからLambda関数を呼び出し、DynamoDBに保存する機能を作っています。

### 発生している問題・エラーメッセージ

送信時、以下のエラーメッセージをコンソールで吐き続けています。

```
Access to fetch at 'https://xxxxxxxx.execute-api.ap-northeast-1.amazonaws.com/prod/customers' 
from origin 'https://xxxxxxxxx.s3.ap-northeast-1.amazonaws.com' has been blocked by CORS policy:
Response to preflight request doesn't pass access control check:
No 'Access-Control-Allow-Origin' header is present on the requested resource.
If an opaque response serves your needs,
set the request's mode to 'no-cors' to fetch the resource with CORS disabled.
```

### 顧客情報入力画面で働くJS

```customer.js
$("#createSubmit").click(function(e) {
    e.preventDefault();

    const send = {
      method: "POST",
      mode: "cors",
      headers: {
        "Content-Type": "application/json"
      },
      body: JSON.stringify("顧客情報")
    };

    fetch('https://xxxxxxxx.execute-api.ap-northeast-1.amazonaws.com/prod/customers', send)
    .then(alert('送信成功'));
});
```

### 情報を送信すると呼び出されるlambda関数

```index.js
const AWS = require("aws-sdk");
const dynamo = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event, context) => {
  const statusCode = 200;
  const headers = {
    "Access-Control-Allow-Headers" : "Content-Type",
    "Access-Control-Allow-Origin": "*",
    "Access-Control-Allow-Methods": "POST"
  };
  const body = JSON.parse(event.body);
  
  try {
      await dynamo
        .put({
          TableName: "xxxxxxxx",
          Item: body
        })
        .promise();
  } catch (err) {
    statusCode = 400;
    params = err.message;
  }

  return {
    statusCode,
    body,
    headers
  };
};

```

### 試したこと

[こちらのドキュメント](https://aws.amazon.com/jp/premiumsupport/knowledge-center/api-gateway-cors-errors/)を参考に、APIGatewayの設定をいろいろと弄くりましたが（都度デプロイしてます）、解決に至りませんでした。

- プロキシ統合は使用していません。
- 将来的にGET、DELETE、PUTメソッドも作る予定ですが、現在はPOSTのみです。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/93e22916-44be-40d4-9850-5103f820356f.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/4b6ba6fe-d63b-4b13-8c1e-86f199686d2e.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/d03490a0-83ca-4c19-932e-fe4857238c98.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/28947050-7d3c-483a-8adf-4715e8fce618.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/554794f7-c3db-4045-9b9e-9b611c68df5f.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/d8620057-083a-40e9-a46a-f0b9c8f264d1.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-25/006c2197-2782-4510-883c-a3c590eeecf1.png)

何卒、お知恵をお貸し頂けると有り難いです。。

【API Gateway】CORSエラーを回避できない

DynamoDBの条件検索で複数取得する方法がわかりません。
取得方法としては３つあり下記の認識です。
・get-item → １件取得
・query → 条件検索
・scan → 全件検索
今回は複数取得のためqueryを使用したいと思ってます。
scanは負荷が高く使用は控えたいです。

テーブル構成は以下のようになってます。
table:Admin-User
column:userId(プライマリパーティションキー、"S"）,createdAt("N" エポックミリ秒)
（ソートキー指定なし）


やりたい事：テーブルからcreatedAtの値を比較して、ある日時から以前のデータを取得したい
躓いてる事：queryで実現しようとしたが、パーディションキーを絶対にイコールで指定が必要のようで、そうするとこのテーブルはuserIdはプライマリキーでもあるため１件しか取得できず詰まっています。


userIdを指定せずにcreatedAtの比較のみで取得できないでしょうか？

どうかご教授お願いします。。。

DynamoDBの条件検索で複数取得したい

Lambda(Python)でDynamoDBに10万件テストデータをいれたいのですが、約3万件しか登録できません。
なにか方法あれば教えてください。

Lambdaの設定
- メモリ (MB):10240(max値です)
- タイムアウト:15分(max値です)

```python
import boto3
dynamoDB = boto3.resource('dynamodb')
table= dynamoDB.Table('test-table')

def insertData(event, context):
    with table.batch_writer() as batch:
      for i in range(1,100001):
          item = {
                  "id": i,
                  "comment": 'test-data',
          }
          batch.put_item(Item=item)
```

lambdaエラーメッセージ
```
API アクションの呼び出しに失敗しました。エラーメッセージ: Network Error
```

Lambda(Python)でDynamoDBに大量のデータを登録するにはどうすればよいか

以下のJSONをparseしてDynamoDBに書き込むプログラムをLambda(python)で開発しております。
２重forループの中で、毎回putItemしていますので処理が遅いです。
最初に全件もしくはある程度読み込んで一括で書き込む方法はないでしょうか？


```python

    #parse data
    for items in event["items"]:
        for member in items["memberList"]: 
            value= member["value"]

            #insert data
            table = dynamodb.Table('membertable')
            with table.batch_writer as batch:
                batch.put_item(
                    Item={
                        'value': value,
                    }
                )

```

```json  
{
    "items" : [
        {
           "memberList" : [
               {
                   “value” : "tom"
               },
               {
                   “value” : "mike"
               }
            ]
        },
        {
           "memberList" : [
               {
                   “value” : "mary"
               },
               {
                   “value” : "bob"
               }
            ]
        },
    ]
}

```

Amazon DynamoDB