pub-subモデルの冗長化について

Question

Redis等のpub-subモデルで連携しているアプリケーションで、
0. あるメッセージをSubscriberが受け取る
0. そこそこ負荷のかかる処理を実行する
0. 処理結果をPublishする
というプロセスがあるとします。

このプロセスを冗長化(+負荷分散)したい場合、どういった方法が考えられるでしょうか？
イメージとしては、単なるHTTPで動いているWebサーバの前にロードバランサを置くような構成を、Pub/Subモデル動いているアプリケーション（群）で実現したいといった感じです。

パッと思いつくのは、
0. LoadBarance用のプロセスを作り、それをSubscriberにする
0. 当該の負荷のかかるプロセスはRest等でKickできるようにしておく
0. LoadBarance用プロセス内部で自分でラウンドロビン等の処理を書き、割り振るサーバを決定する
0. 割り振られたサーバはRestでメッセージを受け取り、処理結果をPublishする
といったところですが、何かデファクトスタンダード的な手法があるようであれば、ご教示いただけると幸いです。

Answer 1

Pub/Subというと、通常は購読者(Subscriber)に対してメッセージを
発行(Publish)することをいうと思いますが、ここではSubscribeをメッセージの受信、
Publishをメッセージの送信としている様に読めましたが、その認識であっているでしょうか？

一般的には、Pub/Subで冗長化というと、
ブローカーやメッセージバスを冗長化するのだと思います。
Publishしたら、Subscriberに確実にメッセージが届くことを
保証するイメージです。

TatsuyaZamaさんが気にされているのは、
Subscriberが確実に処理を完了する事を保証するための冗長化と思いますが、
それはPub/Subはあまり関係しないので、質問に記述されている方法を含め、
ある意味どんな方法でもよい気がします。

ある程度Pub/Subの特徴を活かすなら、
0.その負荷のかかる処理を実行するSubscriberを複数登録しておく。
0.Publishされた時にそれらのSubscriberが同じ処理をする。
0.終わったら結果をまたPublishする。
0.(同じ処理を複数のSubscriberで実行するので、複数のSubscriberが処理に成功すると、無駄にはなるが、それは許容する。)
という方法もあると思います。
ある種の投機的実行ですね。

Comments

[TetsuyaZama]

ご回答ありがとうございます。

>ここではSubscribeをメッセージの受信、
Publishをメッセージの送信としている様に読めましたが、その認識であっているでしょうか？

はい、すみません、そう解釈して頂ければと思います。

>TatsuyaZamaさんが気にされているのは、
>Subscriberが確実に処理を完了する事を保証するための冗長化と思いますが、

確かにおっしゃる通り、いわゆる可用性の確保という点も大事なのですが、
ここではそれに加えて、（このSubscriberはそこそこ負荷のかかる処理をしなければいけないので）負荷分散の要素も考えなくてはならないイメージでした。すみません、こちらの質問が分かりにくいですね。。。

さらに、処理が終わったらその結果をもとにPublishしなければならないため、単にSubscriberを増やすとその処理完了後のメッセージが複数Publishされてしまう点も気になっています。

よって、

>(同じ処理を複数のSubscriberで実行するので、複数のSubscriberが処理に成功すると、無駄にはなるが、それは許容する。)

これが許容できるケースであれば、ご提示頂いた「投機的実行」が有効かと思うのですが、許容できない場合はみなさんどうされているのかなという点が疑問でした。

[eripong]

負荷分散のイメージですか。
そうすると、Redisではないですが、
Kafka+Stormのように、
Pub/Subと分散実行の基盤を組み合わせるケースなどでしょうか。

参考URL:
http://acro-engineer.hatenablog.com/entry/2013/12/13/100129

[TetsuyaZama]

ありがとうございます！
不勉強ながらStormについては名前は聞いたことがある程度でしたが、ご提示頂いたことをキッカケに調べてみて「コレだ！」と思いました。

なお、ご提示頂いたのはRedisではないですが、
Redisでも同じような構成がいけそうですね。

https://github.com/stormprocessor/storm-redis-pubsub/blob/master/src/jvm/yieldbot/storm/spout/RedisPubSubSpout.java

[eripong]

参考になって良かったです。
spoutがあるなら、Redisでもできますね。
Hadoop/YARN、Sparkなども選択肢に入るかも知れません。