質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
docker-compose

docker-composeとは、複数のコンテナで構成されるサービスを提供する手順を自動的し管理を簡単にするツール。composeファイルを使用しコマンド1回で設定した全サービスを作成・起動することが可能です。

Docker

Dockerは、Docker社が開発したオープンソースのコンテナー管理ソフトウェアの1つです

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

547閲覧

Airflow Worker 分散処理 別インスタンス

mahoken

総合スコア85

docker-compose

docker-composeとは、複数のコンテナで構成されるサービスを提供する手順を自動的し管理を簡単にするツール。composeファイルを使用しコマンド1回で設定した全サービスを作成・起動することが可能です。

Docker

Dockerは、Docker社が開発したオープンソースのコンテナー管理ソフトウェアの1つです

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/05/01 02:21

表題の通り質問させていただきます。

環境

  • EC2
  • docker
  • docker-compose

できていること

  • 同EC2インスタンスにworker1, worker2のdocker containerを立てて処理プロセスを分散する

実現したいこと

  • EC2インスタンス1にはAirflowシステムとworker1を立てる
  • EC2インスタんス2に、worker2を立てる
  • EC2インスタンス1のwoker1とEC2インスタンス2のworker2を使って分散処理を行う

以上につきまして、実現が可能か否か。
可能な場合、どこでEC2インスタンス2のworker2を指定するのか。
指定する方法はどのようになるのか。

ご教授いただけると幸いでございます。

dockercompose

1...省略... 2worker1: 3 image: puckel/docker-airflow:test 4 restart: always 5 depends_on: 6 - scheduler 7 volumes: 8 - ./dags:/usr/local/airflow/dags 9 environment: 10 - FERNET_KEY=****= 11 - EXECUTOR=Celery 12 command: worker -cn worker1 -q worker1 13 14worker2: 15 image: puckel/docker-airflow:test 16 restart: always 17 depends_on: 18 - scheduler 19 volumes: 20 - ./dags:/usr/local/airflow/dags 21 environment: 22 - FERNET_KEY=****= 23 - EXECUTOR=Celery 24 command: worker -cn worker2 -q worker2 25...省略...

dag

1sampleTask = PythonOperator( 2 task_id='test', 3 python_callable=test, 4 queue='worker2', // <= ここで別EC2インスタンスのworker2を指定したい 5 dag=dag)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問