ECSでSidekiqとの共有ティレクトリの最適解が知りたい

前提

ECSを使ってRailsアプリケーションの開発を行っています。
CarrierWave Backgrounderで画像アップロードの高速化を行っているのですが…
Sidekiqコンテナの配置がよろしく無く、Railsコンテナが落ちると同時にSidekiqも落ちてしますます。

実現したいこと

CarrierWave Backgrounderの使用に当たって、共有ディレクトリ（キャッシュ）にエフェメラルストレージ使用中
Sidekiq、Railsともに同じTask内に配置しており、S3への画像のUploadに関してSidekiqに委託してます。

今行いたいこととしては、RailsをSidekiqを違うタスクに切り分け、Railsへのアクセスが殺到しても、Sidekiqのタスクが落ちないようにしたいです。

質問

エフェメラルストレージを違うタスク間でマウントする方法があるのかが知りたい
出来ないのであれば、その他で安く済ませる方法を知りたい（EFSはちょっと高い…）
CarrierWave Backgrounderのキャッシュ読み取り先をS3にする（パッケージをOverrideしないと無理そう…）

その他の方法でもいいので、最適案があれば教えていただきたいです。

試したこと

CarrierWaveのキャッシュ配置場所をS3にすることは出来たのですが…
Backgrounderのキャッシュ読み取りはローカルしか見てくれないので、難しそうでした
まぁ、もう７年もサポートされてないパッケージなので、Forkして書き換えてもいいのですが…

補足情報（FW/ツールのバージョンなど）

Rails 6.1.4.6
Sidekiq 6.4.1

yagihiro

2023/03/22 16:53

(2ヶ月前の質問なのですでに解決済みだったら無視してください) 質問文に記載いただいている内容だけから判断すると、シンプルにRailsアプリケーションのコンテナにて画像のアップロードを行うとよいのではないか？と思いましたが、それをしなかった理由だったり制約条件だったりの記載があると回答しやすい気がしました。

Nero1129

2023/03/27 10:23

コメントありがとうございます。一度に複数枚受信する設計でして、トータルで100MB以上の画像を送ってきたりする場合などがあり、画像を圧縮させたりする処理を含めると画面の切り替わりが遅くなるという問題を抱えており、BackgrouderでSidekiqへ委託したかった次第です。ソースの実装は他のエンジニアが担当しており、パッケージの詳細まで知らず、このような質問をしてしましました。今は、process_in_backgroundを指定し、一旦アップロードを行い、s3をキャッシュ先として扱い、[column_name]_prosessingの状況を見て、描画をすることで問題を解決しました。

yagihiro

2023/03/27 12:59

なるほど、解決できたようでよかったです！