質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

Q&A

解決済

2回答

1318閲覧

S3のファイル作成時にSNSからメールが2通飛んでしまう

Otazoman

総合スコア44

AWS Lambda

AWS Lambdaは、クラウド上でアプリを実行できるコンピューティングサービス。サーバーのプロビジョニングや管理を要せず複数のイベントに対してコードを実行します。カスタムロジック用いた他AWSサービスの拡張やAWSの規模やパフォーマンスを用いたバックエンドサービスを作成できます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

0グッド

0クリップ

投稿2018/11/27 02:50

前提・実現したいこと

S3のファイルがアップロードされたタイミングでJSONのファイル名に該当する
DynamoDBのテーブルにJSONデータを書き込むLambdaFunctionを作成しています。
DynamoDBのテーブルにデータの書き込みが完了したタイミングでSNS経由でメールを
送信するようにしたいと考えております。

発生している問題

何とかSNS経由でメール送信するところまではできたのですが、S3にファイルをアップロードした
際に1通しか送信されないはずのメールが2通送信されてきてしまいます。
どの様に処理すれば処理が完了したタイミングで1通のメールが送信されるというように
できるでしょうか。
ご教示のほどお願いいたします。

該当のソースコード

python

1import logging 2import boto3 3import json 4import os 5import urllib 6import datetime 7 8LOGGER = logging.getLogger() 9LOGGER.setLevel(logging.INFO) 10dynamodb = boto3.resource('dynamodb') 11s3_res = boto3.resource('s3') 12s3_cl = boto3.client('s3') 13# Write DynamoDB 14def put_item(writeitems,writetable): 15 try: 16 table = dynamodb.Table(writetable) 17 with table.batch_writer() as batch: 18 for i in range(len(writeitems)): 19 batch.put_item( 20 Item=writeitems[i] 21 ) 22 LOGGER.info("Completed registration") 23 return "end" 24 except Exception as e: 25 LOGGER.error(e) 26 raise e 27def translateJson(res): 28 try: 29 s=json.loads(res.decode('utf-8-sig')) 30 return s 31 32 except Exception as e: 33 LOGGER.error(e) 34 raise e 35# send message 36def sendmessage(subject,msg): 37 try: 38 sqs_arn = os.getenv('SQS_ARN') 39 client = boto3.client('sns') 40 request = { 41 'TopicArn': sqs_arn, 42 'Message': msg, 43 'Subject': subject 44 } 45 r = client.publish(**request) 46 return r 47 except Exception as e: 48 LOGGER.error(e) 49 raise e 50# main 51def lambda_handler(event, context): 52 try: 53 bucket_name = os.getenv('BUCKET_NAME') 54 rep = s3_res.Bucket(bucket_name).objects.all() 55 mg = '' 56 for all_object in rep: 57 file_name = all_object.key 58 table_name=('.').join(file_name.split('.')[:-1]) 59 response = s3_cl.get_object(Bucket=bucket_name, Key=file_name) 60 tabledata = response['Body'].read() 61 objItem = translateJson(tabledata) 62 stat = put_item(objItem,table_name) 63 LOGGER.info("Completed registration") 64 mg= mg + table_name + '\n' 65 else: 66 sb=u'Complete' 67 cd = datetime.datetime.now() 68 mg= mg + '\n' + u'EndTime:' + str(cd) 69 sendmessage(sb,mg) 70 return "end" 71 except Exception as e: 72 LOGGER.error(e) 73 sb=u'ERROR' 74 sendmessage(sb,e) 75 raise e

試したこと

Lambdaのエディタで「テスト」とした場合は1通だけメールが送信されます。
S3にファイルをアップした際にメールが2通飛んできます。

  • Lambdaでテスト送信されるメール

Mail

1item-content 2item 3 4EndTime:2018-11-27 02:24:14.801696
  • S3にファイルをアップロードした際に送信されるメール
    -- 1通目

Mail

1item-content 2 3EndTime:2018-11-27 02:27:26.662573 4

 --2通目

Mail

1item-content 2item 3 4EndTime:2018-11-27 02:27:27.544248

補足情報(FW/ツールのバージョンなど)

該当コードはLambdaのエディタで作成
python3.6

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

具体的な解決策の提示ではありませんが
Lambdaは処理失敗時に実行条件に応じて、再試行を行います。
その際、デッドレターキュー(DLQ)を設定していれば
再試行したか否か解ると思いますので、試してみてはいかがでしょうか?

https://dev.classmethod.jp/cloud/aws/lambda-supports-dead-letter-queue/

以前、AWS IoT -> Lambda -> DynamoDBという処理フローで、ログの重複が発生し
調査したのですが、Lambda処理時、データ上は、1度目の処理は上手くいっているようなのですが
実際Lambdaは処理失敗判定となっており、再試行が走り、ログの重複が発生したという経験があります。

もし、参考になるのであればと思い投稿させて頂きました。

投稿2018/11/27 06:11

SanoTatsuya

総合スコア53

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Otazoman

2018/11/28 00:57

ありがとうございます。記事詳細確認させていただいてやってみます。
Otazoman

2018/12/06 06:55

すいません。エラーではなかったみたいです。正常な動きで本当に初歩的な箇所で躓いていました。 ふっと冷静に考えてみると、そうだよなぁとなるんですが離れてみないと気付かないものです。 本当にありがとうございました。m(__)m
SanoTatsuya

2018/12/08 04:07

自己解決されたようで、良かったです。 一度、距離を置いてから見直すと、結構自分で気づいてしまう事ってあるあるですよね。 開発頑張ってください????
guest

0

自己解決

別件でしばらく別の作業をしていて解決が少し遅くなりましたが
自己解決しました。

そもそもの話ですが、複数ファイルのアップロードが完了してからLambdaが
起動されると考えていたのですが、そうではなくてS3にファイルがアップロード
された都度、トリガーが動いてLambdaが起動するみたいです。
なので以下の動きなので、自分の想定ミスです。初歩的なことですいません。

(1)1個目のitem.jsonのアップロード完了→Lambda起動
(2)2個目のitem-content.jsonのアップロード完了→Lambda起動
そのため、SNSでの通知が2回行われる結果となってしまいました。
※メールが2通届いて当然です。

そこでバッチ処理とはなりますが10分に1回程度処理ができれば問題ないので
トリガーをCloudWatchEventに変更して対処いたしました。

スケジュール式: cron(0/10 * ? * MON-FRI *)

CloudWatchEvent設定

投稿2018/12/06 06:54

Otazoman

総合スコア44

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問