EC2からS3へファイルを送る処理

Question

前提・実現したいこと

EC2からS3へファイルを自動で送りたいです。
その際にs3fsやgoofysを使用せずにやりたいのですが、何か方法はありますでしょうか。

簡単な概要としましては

別サーバーからcsvが送られてくるのでそれを逐次自動でs3に送りたいと考えております。

Answer 1

「自動で」というのはどういうことでしょうか。
リアルタイムでなのか、何分かおきでいいのか等によっても変わってきます。
また、具体的にどういうファイルを送りたいんでしょうか。

簡単な方法はcronでaws s3 syncを任意の間隔で動かすことかと思います。
ログファイルのような逐次的に増えていくテキストを送るのであればfluentdとかを使うのもいいでしょう。

Comments

[forte2255]

リアルタイムで送りたいと考えております。
送りたいファイルはcsvファイルです。

[yu_1985]

ではfluentdが一つの解決策になるのではないでしょうか。
厳密には転送までのタイムラグがあるので完全にリアルタイムではありませんが逐次的に増えるファイルを送るのには効果的です
https://dev.classmethod.jp/cloud/aws/fluentd-s3/

もしcsvをなにかプログラムの処理で吐き出しているのなら、処理終了後にcliでs3に送る処理を入れる、でもいいでしょう。

Answer 2

SAA取ったばかりで開発者ではないんですが、
Amazon S3へデータの格納・取得を行う【AmazonS3Client】 Java編
「S3 ファイル格納 API」で検索したら出てきました。この検索ワードにご使用の言語を付け加えればいいのでは？

Answer 3

aws-cli を利用して、 aws s3 cp [file] s3://[backet]/[path]/[to]/[file] とします。
https://docs.aws.amazon.com/ja_jp/cli/latest/reference/s3/cp.html

Comments

[Orlofsky]

URLは https://teratail.com/help/question-tips#questionTips3-7 の [リンク] で
[リンク先の説明](http...) に修正してください。

[forte2255]

aws-cliについて勉強不足なのですが
この方法は手動でEC2からS3にコピーする形になると思うのですが、cronを利用するということでしょうか？