###前提・実現したいこと
Data Pipelineはコストがかかるため、これを使わずDynamoDBからRedshiftへデータをコピーさせたいです。
DynamoDBのデータをSCANコマンドでJSONに出力し、S3にアップロード。
Redshiftに接続し、COPYコマンドでS3からJSONファイルを読み込ませたところ、
エラーは出なかったのですが、テーブルには全カラムNULLのレコードが作成されていました。
###発生している問題・エラーメッセージ
INFO: Load into table 'bloom' completed, 1 record(s) loaded successfully. →COPYは成功したように見えますが、テーブルの中身は空っぽです。 dev=# select * from bloom; id | name | code | alive | note ----+------+------+-------+------ | | | | (1 row)
###該当のソースコード
・CREATE TABLE
create table bloom( id integer, name varchar(40), code integer, alive boolean, note varchar(100) );
・JSON
aws dynamodb scan --table-name bloom > bloom.json
(bloom.json) { "Items": [ { "id": { "N": "1" }, "name": { "S": "yamada" }, "attr": { "M": { "alive": { "BOOL": true }, "note": { "S": "bloom" }, "code": { "N": "1" } } } } ], "Count": 1, "ScannedCount": 1, "ConsumedCapacity": null }
・JSONPATHS
{ "jsonpaths": [ "$['id']", "$['name']", "$['attr']['code']", "$['attr']['alive']", "$['attr']['note']" ] }
・COPY
copy bloom from 's3://myBucket/bloom.json' credentials 'aws_access_key_id=XXXXX;aws_secret_access_key=XXXXX' json 's3://myBucket/bloom_jsonpaths.json';
dev=# select * from bloom; id | name | code | alive | note ----+------+------+-------+------ | | | | (1 row)
###試したこと
JSONを以下のように書き直せばRedshiftにCOPYできましたが、
このような作業なくCOPYする方法はないでしょうか?
・書き直したbloom.json
{ "id": 1, "name": "yamada", "attr": { "alive": true, "note": "bloom", "code": 1 }, "Count": 1, "ScannedCount": 1, "ConsumedCapacity": null }
・テーブルのSELECT結果
dev=# select * from bloom; id | name | code | alive | note ----+--------+------+-------+------- | | | | 1 | yamada | 1 | t | bloom (2 rows)
あなたの回答
tips
プレビュー