AWS Kinesis firehoseからS3にデータ出力する際にJson形式からCSV形式に変換したい

Question

前提・実現したいこと

打ち消し線
AWS Dynamodb Kinesis データストリーム（kinesis date streams）+Kinesis firehoseを利用し
対象テーブルにレコードがインサートされたらS3にデータを保存する仕組みを作成しましたが、
S3にデータを保存する際にJSON形式→CSV形式に変換したいと思っています。
データ出力形式の変換はLambdaを利用したいと考えていますが、
開発職ではないため、Lambda（プログラム）についてあまり知識がありません。
少しづつLamdba,pythonを勉強していますが、不明な点が多いです。

kinesis date streams or kinesis firehoseでJSON形式からCSV形式に変換ができる
Lambdaの雛形みたいなものがあればご教示お願い致します。

また、現状Dynamodbから出力されたS3のデータを確認すると、
複数JSONレコードがまとめて出力されている状態です。

例：{"test": "hello"}{"test": "hello"}{"test": "hello"}

試したこと・調べたこと

• https://recipe.kc-cloud.jp/archives/9585
• https://qiita.com/kzk-maeda/items/6dd02b9b567a6dd063fd
• https://dev.classmethod.jp/articles/amazon-kinesis-firehose-data-transform/

その他ネットで「dynamodb kinesis firehose CSV変換」などと検索しまたが、有効な情報が見つかりませんでした。

Answer 1

こんにちは。

問題文拝見させていただきました。

こちらの記事が参考になりましたので、ご確認いただけますか？????‍♂️

<参考>
・DynamoDBのテーブルからデータを取得する部分
・jsonからcsvへの変換

Comments

[horihorikotatsu]

ご回答ありがとうございます！！！
確認いたします。

[horihorikotatsu]

DynamoDBのテーブルからデータを取得する部分
↑上記の文献を参考にLambdaを作成してテストを行うとエラーが表示されました。
{
"errorMessage": "Handler 'handler' missing on module 'index'",
"errorType": "Runtime.HandlerNotFound",
"stackTrace": []
}
ハンドラーにindexがないと言われているのは分かりますが、
エラーの解消はどのように行えばよろしいでしょうか。
ご教示お願い致します。

[退会済みユーザー]

失礼しました。S3に上がったファイルをJSONからCSV変換するだけなので、DynamoDBは全く関係なかったですね。

まず、「"errorMessage": "Handler 'handler' missing on module 'index'"」は、作成した関数名と違う関数名が呼ばれることでエラーとして表示されています。(https://qiita.com/kazuqqfp/items/ac8d93918d0030b31aad )

S3にアップロードまではできているということですので、

1. こちらのリンクを参考(https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-s3-example.html )にLambda関数の作成とS3のトリガー部分を作成する。
2. Lambda関数のテストを行う。
3. S3のファイル情報を取得して、変換処理をこちらのリンク(https://www.geeksforgeeks.org/convert-json-to-csv-in-python/ )をもとに実装する。

でいかがでしょうか？????‍♂️

[horihorikotatsu]

返信遅くなり申し訳ございません。
対応できました。ご教示して頂きありがとうございます。????‍♂️

[退会済みユーザー]

お、ナイストライです。

いえいえ。

また困ったこととかありましたら、気軽にご相談ください。

最後に素朴な疑問なのですが、差し支えなければどのようにteratailを始められたのか教えていただくことは可能でしょうか？????‍♂️

[horihorikotatsu]

回答遅くなり申し訳ございません。
teratailを始めた理由としましては下記になります！
・様々なAWSサービスの内容が記載されている
・AWSサービス導入で行き詰った時に参考になったため

[退会済みユーザー]

なるほど、確かにteratailの回答はすごく参考になりますね〜。
自分も息詰まった時、利用しようと思います。
貴重なご意見ありがとうございます????‍♂️