Q&A
なるほど、ライブラリ等でIPアドレスとかを入力すればできるものだと思ってました・・・。並列処理基盤等の知識が必要なのですね。もっとそのあたりを勉強していきたいと思います。ありがとうございましたm(__)m
前提・実現したいこと
社内ネットワークを用いて、多目的最適化のスクリプトの計算部分を複数PCで処理がしたいです。
～～～一連の流れ～～～～
入力データの決定
↓
解析 ←ここを複数PCで分散処理したい
↓
出力データの取得
↓
最適化処理
複数PCは社内ネットワークでつながっています。何を用いて、どのような流れで（分散コンピューティング？PCクラスタ？）をするのかがわかりません。
どなたかおしえていただけないでしょうか。
よろしくお願いいたします。
回答2件
0
先の方の回答よりも気楽な感じの分散処理ですが、celery はいかがでしょうか。
celeryドキュメント
探せば日本語の解説記事もたくさんあります。
流れとしては
- 入力データを適当なサイズに分割してDBなどに保存
- データを処理するタスクをキューに登録
- ワーカで処理
- メイン処理で回収して後続処理
のような感じでしょうか。
投稿2020/07/11 14:47
総合スコア13790
0
ベストアンサー
道のりは長そうですがアドバイス致します。学ぶことは大きく2つです。
- 並列処理基盤
- Pythonパッケージの並列処理基盤への対応状況
1の並列処理基盤はスパコン等でよく使われているMPIや、個人のPCを連携させて計算を行うBOINC、あるいはクラウド等で使用されているHadoop/Apache Sparkなどがあります。MPIは低レベルのAPIを提供しますが、後者のBOINCやHadoopはシステムやサービスを提供します。どの基盤を用いるかは要件によって異なります。
2のPythonパッケージですが、多目的最適化の部分をパッケージに任せて良いのであればgithubやpypiで検索キーワード「MOEA」で検索し、その中で並列処理基盤に対応したものを探します。調べてみて自分が使いやすいと思ったパッケージを使うのが良いでしょう。私が調べたところではplatypusやdeltamoeaはMPIに対応していました。そこでやるべきことは
- 並列処理基盤(例えばMPI)の基礎について勉強する(PCのセットアップやMPIの使い方など)
- パッケージの使い方を学ぶ
ということになります。
参考URL
投稿2020/07/11 12:49
総合スコア1615
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/07/12 02:49