DynamoDBに複数の項目を追加するプログラムでcontext.done()をコールするタイミングがわかりません

Question

AWSのLambdaでS3にアップロードされたJSONファイルを読み込んで
その内容をDynamoDBへ書き込むプログラムを作成しています。

JSONファイルには複数のデータがありこれを全てDynamoDBへ書き込みます。

以下が作成したソースコードとJSONファイルの内容です。

console.log('Loading function ...');

var aws = require('aws-sdk');
var s3 = new aws.S3({ apiVersion: '2006-03-01' });
var dynamo = new aws.DynamoDB({region: 'ap-northeast-1'});

//読み込んだJSONをDynamoDBのパラメータ形式に変換
function getItemList(table) {
    var items = [];
    for (var i = 0; i < table.length; i++) {
        var item = {};
        var record = table[i];
        console.log(record);
        for (var column in record) {
            item[column] = {'S': record[column]};
        }
        items[i] = item;
    }
    return items;
}

exports.handler = function(event, context) {
    //console.log('Received event:', JSON.stringify(event, null, 2));
    //S3からJSONファイルを読み込む
    var bucket = event.Records[0].s3.bucket.name;
    var key = event.Records[0].s3.object.key;
    console.log('Bucket:', bucket, ' Key:', key);
    s3.getObject({Bucket: bucket, Key: key}, function(err, data) {
        if (err) {
            console.log(err);
            context.fail('S3 object get error!! ' + err.code + ":" + err.message);
        }
        else {
	    //テーブル名
            var tablename = 'test';

            //読み込んだJSONをDynamoDBのパラメータ形式に変換
            var content = JSON.parse(String(data.Body));
            console.log('Table:', tablename, ' Count:', content[tablename].length);
            var items = getItemList(content[tablename]);
            for (var i = 0; i < items.length; i++) {
                var params = {
                    TableName: tablename,
                    Item: items[i]
                };
                //DynamoDBへ書き込む
                dynamo.putItem(params, function (err, data) {
                    if (err) {
                        console.log(err);
                        context.fail('DynamoDB put error!! ' + err.code + ':' + err.message);
                    }
                    else { 
                        console.log('data uploaded successfully.');
                        //★1)doneを呼び出すタイミングは？
                        //context.done();
                    }
                }); //★2)ワーニング: Don't make functions within a loop.
            }
        }
    });
}

{
    "test": [
        {
            "id": "1",
            "key": "000001",
            "data1": "abcdefg"
        },
        {
            "id": "2",
            "key": "000002",
            "data1": "abcdefg",
            "data2": "ABCDEFG"
        },
        {
            "id": "3",
            "key": "000003",
            "data1": "abcdefg",
            "data2": "ABCDEFG",
            "data3": "1234567"
        }
    ]
}

動作するのは確認できたのですが、わからない点が２つあります。

★1) DynamoDBへ書き込む際、複数回putItem()をコールしたときcontext.done()をコールするタイミングがわからない。
★2) putItem()のfunctionでワーニングが発生してしまいます。functionはループ内に作成してはいけないようですがどのように修正したらよいでしょうか？

context.done()はコールしなくてもよいのか？全ての書き込みが終了したことを判断する方法が別にあるのでしょうか？
functionは別に分けてみましたがcontextが参照できなくなってしまいました。

BatchWriteItem()で一度にまとめて書き込めることは分かったのですが
今回のように引数にfunctionをもつ関数を複数回コールしたいときどのようにプログラムするのがいいのでしょうか？

同様のプログラムを作成された方がいましたら
教えていただけると助かります。

追記）
★２はコードをテキストファイルにコピーして貼り付けなおしたところワーニングは消えました。
これでいいのかわかりませんが・・・。
引き続き★１について何かわかることがあれば教えて下さい。

Answer 1

DynamoDBについての知識はないです（この質問でしったくらい）が、JavaScriptの知識だけで回答してみます

まず、コールの必要性ですが、ググると Amazon の公式ぽいところに

Important

Lambda 関数の実行を正しく終了させるためには、context.succeed()、context.fail()、または context.done() メソッドを呼び出す必要があります。どのメソッドも呼び出していない場合、Node.js のイベントキューが空になるか、または Lambda 関数がタイムアウトするまで、Lambda 関数は実行を続けます。

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/nodejs-prog-model-context.html

とあったので、success も fail も呼ばないときは呼び出したほうがいいのでしょう
実行終わったら Node.js が終了するから不要な場合もあるかもですけど、大抵の場合はそうじゃないと思います

呼び出す場合ですが、これまたぐぐってみると、putItem の後のコールバックの中で context.done を呼び出している例がいくつかありました
putItem を複数実行している場合は全部のコールバックが終わったときに、context.done() を呼べばいいと思います

for 文の前に length を保存しておいて 各コールバックの中で 1 ずつ減らしていき、 0 になったら最後の処理を呼び出すというのが簡単な方法かと思います

ですが、こんなときの Promise.all なのかなと思ったので for (var i = 0; i < items.length; i++) { のところを Promise 化してみました

Promise.all(items.map(item => {
	return new Promise((resolve, reject) => {
		var params = {
			TableName: tablename,
			Item: item
		};
		//DynamoDBへ書き込む
		dynamo.putItem(params, function (err, data) {
			if(err) {
				console.log(err);
				context.fail('DynamoDB put error!! ' + err.code + ':' + err.message);
			} else {
				console.log('data uploaded successfully.');
				resolve(data);
			}
		});
	});
})).then(_ => {
	context.done();
})

シンタックスしかチェックしてないです

Comments

[akabei]

回答ありがとうございます。

教えていただいた方法で試したり調べたことで不明点が明確になりました。

・Promiseを使用してcontext.done()を呼び出せばいい。
・Promiseの使い方が理解できていない。
・Lambdaで直接コードを記述するとPromiseが使用できないので、外部モジュールをzipにまとめてアップロードする必要がある。
・npmコマンドで外部モジュールをパッケージ化できる。

Node.js、Javascript、AWSとまだまだ勉強不足のまま手をつけてしまったのが良くなったようです。

教えていただいた内容から
参考になるサンプルコードも見つけることもできましたので
基本的なところから勉強しなおして見ようと思います。

大変参考になりました。ありがとうございます。

[akabei]

以下のコードで動作することを確認できました！

```JavaScript
new Promise(function(resolve, reject){
for (var i = 0; i < items.length; i++) {
//console.log(items[i]);
var params = {
TableName: tablename,
Item: items[i]
};
//DynamoDBへ書き込む
dynamo.putItem(params, function (err, data) {
if (err) {
reject(err);
}
else {
resolve(data);
}
});
}
}).then(function(data) {
console.log("DynamoDB put success.", data);
context.done();
}).catch(function(err) {
console.log(err);
context.fail("DynamoDB put error!! " + err.code + ":" + err.message);
});
```

Promise.allはまだ勉強不足で使用していませんがこれから勉強して使えるようにしたいと思います。
あらためてありがとうございました。