Lambda(Python)でDynamoDBに大量のデータを登録するにはどうすればよいか

Question

Lambda(Python)でDynamoDBに10万件テストデータをいれたいのですが、約3万件しか登録できません。
なにか方法あれば教えてください。

Lambdaの設定

• メモリ (MB):10240(max値です)
• タイムアウト:15分(max値です)

import boto3
dynamoDB = boto3.resource('dynamodb')
table= dynamoDB.Table('test-table')

def insertData(event, context):
    with table.batch_writer() as batch:
      for i in range(1,100001):
          item = {
                  "id": i,
                  "comment": 'test-data',
          }
          batch.put_item(Item=item)

lambdaエラーメッセージ

API アクションの呼び出しに失敗しました。エラーメッセージ: Network Error

Answer 1

おはようございます。

問題文読ませていただきました。

一回のみテストデータを格納したい場合は、csv化してs3にあげるだけで良さそうです。
定期実行して最新のテストデータを扱いたい場合は、最新のテストデータファイルの末端に、新しいテストデータを格納して、s3にアップロードするなどがよろしいかと感じました。

Answer 2

テストデータを格納したいという部分が主目的でしょうか？
もしlambdaでなくても良ければS3にCSVを格納して一気にインポートかける形はいかがでしょうか？
https://aws.amazon.com/jp/blogs/news/implementing-bulk-csv-ingestion-to-amazon-dynamodb/

Comments

[bibouroku]

回答ありがとうございます。
lambdaで大量のテストデータを投入することが目的なので、S3は使わない想定です。

[m2l]

そうなんですね。
ちなみに30000件ずつなどに分けてバルクインサートする形でしたら上手く行きそうですが、そちらですとやりたいことと異なりますでしょうか？

[bibouroku]

テストデータはcloudformationを使ってS3経由で投入することにしました。
ご回答ありがとうございました！

[m2l]

かしこまりました。
良い回答できず申し訳ございませんでしたが、解決できて良かったです！