質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

Q&A

0回答

1737閲覧

DynamoDBのデータ(JSON)をRedshiftへCOPYする

muskcalb

総合スコア6

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

0グッド

0クリップ

投稿2017/12/02 02:59

###前提・実現したいこと
Data Pipelineはコストがかかるため、これを使わずDynamoDBからRedshiftへデータをコピーさせたいです。
DynamoDBのデータをSCANコマンドでJSONに出力し、S3にアップロード。
Redshiftに接続し、COPYコマンドでS3からJSONファイルを読み込ませたところ、
エラーは出なかったのですが、テーブルには全カラムNULLのレコードが作成されていました。

###発生している問題・エラーメッセージ

INFO: Load into table 'bloom' completed, 1 record(s) loaded successfully. →COPYは成功したように見えますが、テーブルの中身は空っぽです。 dev=# select * from bloom; id | name | code | alive | note ----+------+------+-------+------ | | | | (1 row)

###該当のソースコード
・CREATE TABLE

create table bloom( id integer, name varchar(40), code integer, alive boolean, note varchar(100) );

・JSON

aws dynamodb scan --table-name bloom > bloom.json
(bloom.json) { "Items": [ { "id": { "N": "1" }, "name": { "S": "yamada" }, "attr": { "M": { "alive": { "BOOL": true }, "note": { "S": "bloom" }, "code": { "N": "1" } } } } ], "Count": 1, "ScannedCount": 1, "ConsumedCapacity": null }

・JSONPATHS

{ "jsonpaths": [ "$['id']", "$['name']", "$['attr']['code']", "$['attr']['alive']", "$['attr']['note']" ] }

・COPY

copy bloom from 's3://myBucket/bloom.json' credentials 'aws_access_key_id=XXXXX;aws_secret_access_key=XXXXX' json 's3://myBucket/bloom_jsonpaths.json';
dev=# select * from bloom; id | name | code | alive | note ----+------+------+-------+------ | | | | (1 row)

###試したこと
JSONを以下のように書き直せばRedshiftにCOPYできましたが、
このような作業なくCOPYする方法はないでしょうか?
・書き直したbloom.json

{ "id": 1, "name": "yamada", "attr": { "alive": true, "note": "bloom", "code": 1 }, "Count": 1, "ScannedCount": 1, "ConsumedCapacity": null }

・テーブルのSELECT結果

dev=# select * from bloom; id | name | code | alive | note ----+--------+------+-------+------- | | | | 1 | yamada | 1 | t | bloom (2 rows)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問