別プロセスで常駐させた方が良さそうな重い読み込み処理

Question

このページの後半のプログラムを利用したちょっとしたサービスを開発しています。
このページの解説にも「TSTの構築にちょっと時間かかるけど」とある通り、この大きなファイル（単語リスト）の読み込み(及びTSTの構築)が非常に重く、そしてほとんどの時間がかかります。
そこでTSTの読み込みを別プロセスで行い、デーモンのように常駐させると良いのではないかと思い至りました。
その場合、CGI（解析するテキストを指定する・入力は10000文字程度までを想定）とTSTデーモンの通信はどのように行うのが一般的なのでしょうか？
素人ながら調べてみたところデーモンの標準入出力は無効化しなければいけないようなので、パイプで渡すことはできないと判断しました。しかし、ではソケットなのか？それともファイルを作って共有なのか？あるいは私の知らない全く別の方法なのか？というところで悩んでいます。
そもそも今回の場合別プロセス（デーモン）にするのがベストなのかどうかも悩んでいます。
皆様のお知恵を拝借できればありがたく存じます。

Answer 1

いつくか方法は考えられますが、
プロセス間通信、共有メモリ、データベース、KVSなども考えられると思います。
Webアプリから使うのには何がいいかはよくわかりませんが…

Comments

[KenjiOkada]

ありがとうございます。確かにデータベースという手もありますね。データベースでデータを共有してシグナルで通知という手が良いかもしれません。他に特になければそれで行きたいと思います。

[TaMaMhyu]

Webアプリの場合、Webサーバ複数台構成だと、プロセス間通信と共有メモリは使えなそうですね。

[KenjiOkada]

色々調べてみたんですが、シグナルは強制終了とかに使われる手段で、処理して欲しいというようなメッセージを送る手段としては一般的ではないんですね。複数台構成とか考えるような大規模なサービスではないんですが、Webアプリということでデーモンとユーザープロセスの間に親子関係がないので、そこで調べるのに苦労してます。何か良い情報源はないでしょうか？

[KenjiOkada]

プロセスの間に親子関係があればmultiprocessingクラスのPipeとかも使えそうなんですが・・・。やはりソケットとか使うことになるんでしょうか？

[TaMaMhyu]

データベースでやる場合であれば、データベースの中に状態を持って、ポーリング（一定周期で監視）するという手法があります。
ただ、Webアプリのクライアント側とどうやりとりするかは別途検討が必要になるかと思います。

[TaMaMhyu]

クライアント側としてはAjaxで定期的にアクセスして状態や結果を取ってくるとか、
WebSocketなどの常時接続の方法を使うかなどが考えられます。

[KenjiOkada]

なるほど。色々と本当にありがとうございました。