【Laravel】【AWS】冗長化されたサーバーでのCron処理について

Question

今まで開発していたアプリケーションを本番用に調整しているのですが、実装方法が良い実装方法が思い付かず相談に乗っていいただけないでしょうか？

構成

現在、下記のようなサーバー構成になっています。
ALBがロードバランサーになっており、EC2の冗長化をしています。

便宜上、mainとsubと言う名前にしています。

どちらにも同じプログラムが載っています。
また、時限処理を行いますので、それぞれcronを実行しています。

処理の内容

メッセージをメールで送るアプリケーションを作っています。

ユーザーが指定した時間に、cronでメッセージを送信します。
cronの設定は、laravelで登録したスケジュールを使っています。

お伺いしたい事

開発しているアプリケーションは時限処理を行なっています。
そのため、複数構成のサーバーに同じアプリケーションを置く場合、それぞれの環境でcronが実行されてしまいます。

そのため、重複してスケジュールを実行してしまいます。
場合によっては、２重送信される事も考えられます。

この場合、プログラム側、もしくはサーバー側でどのような対策を取るのが良いでしょうか？
まだ構築している最中ですので、サーバーの構成も、プログラムの構成も変える余地はあります。

私なりに考えられる方法

数点考え付きますが、それぞれ懸念点があり決めかねています。

1. 片方だけ実行できるように調整する

上記の構成で言う、mainインスタンスのプログラムにスケジューラーを設定して、subでは実行しない方法です。
しかし、これではmainが落ちてしまった時に機能しなくなってしまいます。

2. スケジューラー用にインスタンスを作る

スケジューラー機能だけのサーバーを立てて、スケジューラを動かします。
上記のようにインスタンス毎の違いが出ないので構成がわかりやすくなります。

ただ、この案もサーバーが落ちてしまうとスケジューラーが機能しません。
また、サーバー代も余分にかかります。

3. データベース側で送信ずみのフラグを用意する

スケジュールが２回実行されることは諦めて、送信済みかどうかをフラグで処理するようにします。
今後サーバーが増える場合、重複した処理が増えることになりますので、パフォーマンスが落ちる可能性もあります。

Answer 1

https://readouble.com/laravel/6.0/ja/scheduling.html#running-tasks-on-one-server

Laravel限定の話。
memcachedかredis使えばonOneServer()で片方のサーバーのみで実行されるようにできる。
AWSで今後もサーバー増える予定ならElastiCacheを使う。

Comments

[hasshy]

ご回答いただきありがとうございます。
onOneServer()と言う便利な関数があったのですね。
キャッシュはElasticCacheで管理していたので試してみます。

Answer 2

ELB配下に置くならWEBサーバ上でcron使うこと自体をやめることを検討すべきかと思います。
ELB配下のサーバには極力状態をもたせるべきではありません。
サーバの廃棄と立ち上げがしにくくなり、オートスケールができなくなるからです。
cronを動かしているサーバが死んだらどうするか、どこでステータス管理するのか、個人的には考えたくもありません。

これに関してはいくつかアプローチはあります

• 定期実行処理を動かすための専用のサーバ（バッチサーバ）を作る
• Docker化してECSのScheduled TasksやAWS Batchで動かす
• LambdaとCloudWatch Eventsを連携させて動かす

など。
一番わかりやすいのはバッチサーバを作るアプローチですが、たしかに工数は一番かからないかもしれませんがおっしゃるとおりインスタンスの料金が余計にかかります。
ただ、ステータス管理を実装して運用するのと総合的に見てどっちが楽か、という話ですね。
定期実行に必要な部分をDocker化できるなら2番めのアプローチは割とやりやすいです。
Lambdaを使えるケースは処理の時間が長くなく、かつあまり複雑でないケースですね。また、どうしても今の処理を作り変える必要が出てくるので少し面倒かもしれません。

コードの実装よりもアーキテクチャを工夫してなんとかすべき部分かと思います。

Comments

[hasshy]

ご回答いただきありがとうございます。
AWS側のサービスを使った色々な対応方法を教えていただき、とても勉強になりました。
開発環境についてはDockerを使っているのですが、ECSで組み立てようとして詰まっていました。
（タスクで作るのととクラスターから作るのどちらが良いのかとか、Fargateにした方が良いのかとか考え出してしまったら…）
ECSで組み立てる利点がありますね。
ありがとうございます。