AWS:python3でS3からS3に直接ファイルをコピーしたい

Question

python3でS3からS3に直接（サーバーなどに一度ダウンロードせずに）ファイルをコピーしたいと考えています。

コピー先のS3は、直接アクセスする権限はなく、署名付きURLを発行してもらってアクセスすることになっています。

今こんな感じ↓でコピー先のS3にファイルをアップロードすることはできたのですが、
これだと一度ファイルをダウンロードすることになると思うので、、避けたいと考えています。

import requests
import urllib.request

def handler(event, context):
  req = urllib.request.Request('コピー元のS3のファイルURL')
  with urllib.request.urlopen(req) as res:
    data = res.read()
    response = requests.put('コピー先のS3の署名付きURL',data=data)
  print(response)

というのも、この処理をlambdaで非同期で複数同時実行したいと考えているため、
使用できるtmpのストレージの制約上、厳しいのでは！？と思っています。

調べても他にいい方法が見つからなかったため、こちらで質問させていただきました。
よろしくお願いいたします。

Answer 1

こんにちは。

署名付きURLしかもらえないのだとできることは少ないですね。
限定的なアクセスキーをもらうことをおすすめします。
参考：AWS の S3 のファイルを別の bucket にコピーする方法 - Qiita

どうしても無理なら、URLからメモリ上に読み込むことは可能です。

import io
data = io.BytesIO(requests.get(url).content)

Comments

[mariek]

返信が遅くなり申し訳ございません。
＞署名付きURLしかもらえないのだとできることは少ないですね。
やはりそうですよね。。
教えていただいた方法を試してみようと思います。
ありがとうございました！