質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.37%
Amazon DynamoDB

Amazon DynamoDBは、 AWS上のNoSQLデータベースサービスです。フルマネージド型のサービスで、スキーマレス、高速且つ安定性のある動作、自動的に容量を変更する自動スケーリングなどの特徴を持ちます。

Q&A

0回答

836閲覧

DynamoDB:Pythonによるビックデータのインポート

ttoo

総合スコア126

Amazon DynamoDB

Amazon DynamoDBは、 AWS上のNoSQLデータベースサービスです。フルマネージド型のサービスで、スキーマレス、高速且つ安定性のある動作、自動的に容量を変更する自動スケーリングなどの特徴を持ちます。

0グッド

0クリップ

投稿2021/08/27 13:28

AWS DynamoDBに5Gbのcsvファイルをインポートします。
この時、DynamoDBへのインポートをPythonのみを利用して、1、2時間以内に終わらせたいです。
また、同時実行処理を考慮しているため、ファイルの分割などはできないものとします。

下記記事を参考に、5Gbのファイルをインポートしたところ、6時間もの時間を要しました。
こちらは、Pythonをコーディングすることで、より早くインポートすることができますでしょうか?
あまり、ビックデータには詳しくなく、、、ご教授いただきたいです。

https://dev.classmethod.jp/articles/csv-import-to-dynamodb-table/

```
import json
import boto3
import os
import csv
import codecs
import sys

s3 = boto3.resource('s3')
dynamodb = boto3.resource('dynamodb')

bucket = os.environ['bucket']
key = os.environ['key']
tableName = os.environ['table']

def lambda_handler(event, context):

#get() does not store in memory
try:
obj = s3.Object(bucket, key).get()['Body']
except:
print("S3 Object could not be opened. Check environment variable. ")
try:
table = dynamodb.Table(tableName)
except:
print("Error loading DynamoDB table. Check if table was created correctly and environment variable.")

batch_size = 100
batch = []

#DictReader is a generator; not stored in memory
for row in csv.DictReader(codecs.getreader('utf-8')(obj)):
if len(batch) >= batch_size:
write_to_dynamo(batch)
batch.clear()

batch.append(row)

if batch:
write_to_dynamo(batch)

return {
'statusCode': 200,
'body': json.dumps('Uploaded to DynamoDB Table')
}

def write_to_dynamo(rows):
try:
table = dynamodb.Table(tableName)
except:
print("Error loading DynamoDB table. Check if table was created correctly and environment variable.")

try:
with table.batch_writer() as batch:
for i in range(len(rows)):
batch.put_item(
Item=rows[i]
)
except:
print("Error executing batch_writer")
```

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.37%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問