やりたいこと

Railsで3GB程の動画ファイルを、s3にアップロードしたい。

詳細

動画配信サービスを開発しています。nginx、unicornを使ってサーバを立てています。
ブラウザにアップロードされた動画ファイルをs3に保存したいと考えています。form_forでfile_fieldを用いて動画ファイルを受け取っています。
それをActiveStorageを使ってAWSのs3にアップロードしています。

問題点

400MB以下の動画ならば正常にアップロードされます。(1時間程かかりますが)
400MB以上の動画ファイルをアップロードすると、エラーアラートが表示されてアップロードに失敗します。(そのエラーが出るまでに2時間ほどかかる)

試した事

ダイレクトアップロードにする。
nginx及びunicornのタイムアウト設定を伸ばす。
nginxで最大ファイルサイズ設定を大きくする。
nginx-upload-moduleを用いる。

環境

Rails: 5.2.1
Ruby: 2.5.1
OS: CentOS7(AWSのEC2インスタンス)
通信はhttpsです。

質問

s3に3GB程の動画ファイルをアップロードするにはどのようにすればよろしいでしょうか？
みなさまは普段どのような工夫をして大容量ファイルをs3にアップロードするのでしょうか？

よろしくお願いします。

gouf

2019/02/19 16:50

分割アップロード機能を利用した場合、アップロードできますか? : [AWS SDK for Ruby を使用したマルチパートアップロード - Amazon Simple Storage Service]( https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/uploadobjusingmpu-ruby-sdk.html )

s.takanosuke

2019/02/19 18:14

ありがとうございます！さっそく調べて試してみます！ちなみに、これはアップロード速度が上がる事も期待出来たりしますか？それともただ分割してアップロードするだけでしょうか？

firedfly

2019/02/21 01:56

こんにちは。アップロード速度も上がります。「並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のファイルをPUTした際には通信経路の問題等で失敗してしまったときに全てやり直さないといけないのに比べ、マルチパートであればそのパートだけやり直すことでリカバリができるため、アップロードの安定性の面でもメリットがあります」参考：https://qiita.com/iogi/items/62f84e0ebfdc7afd9539

s.takanosuke

2019/02/21 18:22

こんにちは！丁寧な解答ありがとうございます。実際に簡単なプログラムを書いて実装したところ無事にアップロードすることは出来ました。しかし、これをActiveStorageと共に使用する方法が中々分かりませんでした。。 ActiveStorageを使ったサンプル例とかはありませんよね.. 甘えすぎていることは承知ですが、もしご存じであれば知恵を貸していただきたいでう。

firedfly

2019/02/22 04:58

Rails 5.2のMissing featuresにmulti-part uploadsが入っているので、まだできないのだと思います。 https://drivy.engineering/rails-5.2-active-storage-highlight/

s.takanosuke

2019/02/22 05:12

なるほど、そうなのですね。先程色々と試したところ、ローカルの環境で、(アプリケーションサーバのみ)S3にファイルアップロードをすると時間はかかりますが、どんなに大きいファイルでもしっかりとアップロードされます。しかし、本番環境(Nginxあり)だとダメなようです。また、Nginxありの場合は正常にアップロードできる場合もプログレスバーの表示も少しおかしいです。0%の状態がずっと続いて、最後に一気に100%まで行きます。ダイレクトアップロード時に、Nginxとunicornの間で何か行われているのでしょうか？？

firedfly

2019/02/22 06:02

一進一退ですね。問いは尽きないでしょうがこちらは「質問への追記・修正の依頼」を書く場所で、他の有識者は見てくれません。あれこれ試された内容で、別の質問を立てるとよいです。

s.takanosuke

2019/02/22 07:04

おっしゃるとおりです。色々と本当にありがとうございました。