AWS S3のファイルをAzureのBlob Storageにコピーする方法

Question

知りたいこと

• AWSのS3内のファイルを、AzureのBlobStorageに格納する方法

前提条件

• ファイルの取得は、日時などの時間をトリガーとした定期取得
• ファイルの取得機能(バッチ)はAzure側からキックされる
• セキュリティ面から、FTPはNGとし、SFTPやhttpsなどを用いる。
• AzureはPaaSを使用する。
• コスト(金額、設定)はかからない方が好ましい。

調べたこと

• AWS SDKをAzure Functionsに組み込み、S3よりファイルを取得できそう？
• AWS CLIを用いる？(Azureに仮想OSを立てて、そこにインストールするしかないのか・・・？)

その他

• AWS側にSFTPサーバを立てて、AzureのLogicAppsを用いて取得するのもアリ?

どれができるのか、できないのか、他の方法はあるか、ベストプラクティスは何か、部分的な回答でも構いませんので、
知識を共有頂けると幸いです。

Comments

[teratai1]

これ設計依頼でしょ？

Answer 1

CLI使うだけで簡単にできそうですが。
次のようなスクリプトをcronで実行させればいかがでしょうか。

aws s3 cp s3://bucket/file.txt ./file.txt
az storage blob upload \
    --container-name mystoragecontainer \
    --name blobName \
    --file ~/file.txt

定期実行する方法

常に起動しているインスタンスではコストがかかりますので、
安く済ませるならAWS BatchまたはLambdaでできそうです。

AWS Batchで行う

AWS Batchで行う場合、EC2, EC2, CloudWatchの連携となります。
AWS Batchを使ってcronのような定期的処理を実現する

Lambdaで行う

Lambdaで行う場合、Lambda, CloudWatchの連携となります。

以下、参考になるかと。
【AWS】lambdaファンクションを定期的に実行する
Lambdaでコマンドやシェルスクリプトを実行してみる(Node.js)

Comments

[HelloWorld2]

AzureがPaaSということで、CLIを使用するために、仮想OSなどを立てなくてはならないのでは？と考えており、難しいのではないかと思っています。(認識違っていたらご指摘ください)

初歩的な質問で大変恐縮ですが、
"cronで実行"させるとは、aws側で、上記スクリプトを定期実行する(設定をする)、という意味でしょうか？

[moonphase]

CLIは定期的に実行できる仕組みがあれば何でもいいです。仮想OSというか、仮想サーバの場合は基本常に起動しておく必要があり、安くとも年間数千円のコストが発生します。
かわりに、必要なときだけコンピューティングリソースを利用できる仕組みで構築すればいかがでしょうか。回答に2案追記しましたので、参考になさってください。