機械学習を使ったシステム構成

Question

以下の処理フローを実現するシステムを作りたいと考えています。
1.データ取得、データ整形、データベースに保存
2.データベースからデータを取り出し機械学習
3.2の機械学習の結果からパラメータを決定し外部apiを叩く

そこで、RustとPythonを使って作りたいと思ってるのですが、システム構成で悩んでいます。
思いついたのは以下の二つです。
・Rustで1,3の処理をしてPythonで2の処理をする。2でPythonが行った機械学習の結果は、メッセージキューを使ってRustのプロセスに渡す。
・1,2,3を全てPythonで行う。

どちらが早く処理できると思いますでしょうか？また、メッセージキューよりも良いデータの受け渡し方法があればご意見伺いたいです。
前者だとRustは高速にデータを処理できるがキューを介しているのでそこで後者より遅いのではないかと思っています。

Comments

[退会済みユーザー]

Rustは分かりませんが、どれくらいの規模のデータを扱うかでもスピードが変わってくると思います。いかがでしょうか？
（規模が小さければやりやすいやり方で済ませてし待っても問題ない、Rustでシステムを作る手間を考えれば処理が遅くても全部Pythonでいいや、もあり得ると思います）。

[k_k_kk]

データは気象に関するデータで1秒に1回500Bのデータが送られてくる想定です。
全部Pythonが楽かなとも考えてるのですが、自分としてはRustの方が慣れているのもあって機械学習を使う処理以外はRustで実行したいとも考えています。

[退会済みユーザー]

すでにご存じと思いますが、Pythonで機械学習をするのはすごく楽です。いわゆる"機械学習"であれば、10行もいらないくらいのポン付けコードで動きます。RustでCSVにしてしまえば、あとは楽かもしれませんね！
https://scikit-learn.org/stable/

RustとPythonのやりとりは、A.物理的メディアにファイルに保存して、B.RAMディスクに保存して、C.RustからコマンドラインでPythonを読みだして返り値を使う、D.127.0.0.1でソケット通信くらいしか思いつきません。Pythonだけであれば、AやBよりもDの方が早いです。CとDはRustでの実装のしやすさで選んだらよさそうですね。

Answer 1

また、メッセージキューよりも良いデータの受け渡し方法があればご意見伺いたいです。

他の回答にあるように、Pythonを介さずに、Rustから機械学習ライブラリーのコアが使えるなら、それが一番効率が良いと思います。

次に効率が良さそうなのはPyO3を使う方法です。以下のことができます。

1. PythonモジュールをRustで書き、Pythonコードから呼ぶ。（Rustコードは共有ライブラリーへとコンパイルされ、Pythonインタープリターがそれをロードして使う）
2. Rustコード内でPythonインタープリターを起動し、Pythonコードを実行する

Pythonのデータ型からRustのデータ型への変換と、その逆の変換は、単純な型ならPyO3が自動的に行ってくれます。

「質問への追記・修正依頼」欄のコメントからすると、Rustを主にして、機械学習はPythonにということだと思いますので、2.の形態の方が合っているように見えます。ただ、機械学習の場合は、C/C++で書かれたネイティブライブラリーに依存していますので、動作させるために必要な設定を見つけるのが大変かもしれません。

1.の形態なら簡単かつ確実に動作するのでないかと思います。その場合、質問にある1の処理と3の処理はPyO3＋Rustで実装し、Pythonコードから呼ぶことになります。

PyO3以外の連携方法は大体以下のようになるでしょうか。（「質問への追記・修正依頼」に他の方が書かれたものと基本的に同じです）

1. ファイル（物理的メディア、または、RAMディスク）で連携する
2. コマンドラインでPythonを実行して、標準出力に書かれた情報を使う
3. REST APIやgRPC APIで連携する
4. メッセージキューで連携する

2.は、もし毎秒発生するデーターをその都度処理したいのでしたら、ちょっと無理がありそうです。（機械学習の処理は、どの程度の時間がかかるのでしょうか？　1秒以内 or それ以上？）

3と4は実装が面倒そうなのと、実行時のオーバーヘッド（本来の処理以外にかかる時間）も大きそうです。

Answer 2

Python にある機械学習ライブラリのコアはほとんどの場合 C か C++ で書かれています。また PyTorch のように C++ の API 備えている場合もあります。あとは Rust から FFI で呼び出しやすいようラッパーを書いて読み込むという方法で扱うことができるでしょう。実際に PyTorch の Rust バインディングがあるようです。その他の機械学習フレームワークでも同じように利用できると思います。