表題の通り質問させていただきます。
環境
- EC2
- docker
- docker-compose
できていること
- 同EC2インスタンスにworker1, worker2のdocker containerを立てて処理プロセスを分散する
実現したいこと
- EC2インスタンス1にはAirflowシステムとworker1を立てる
- EC2インスタんス2に、worker2を立てる
- EC2インスタンス1のwoker1とEC2インスタンス2のworker2を使って分散処理を行う
以上につきまして、実現が可能か否か。
可能な場合、どこでEC2インスタンス2のworker2を指定するのか。
指定する方法はどのようになるのか。
ご教授いただけると幸いでございます。
dockercompose
1...省略... 2worker1: 3 image: puckel/docker-airflow:test 4 restart: always 5 depends_on: 6 - scheduler 7 volumes: 8 - ./dags:/usr/local/airflow/dags 9 environment: 10 - FERNET_KEY=****= 11 - EXECUTOR=Celery 12 command: worker -cn worker1 -q worker1 13 14worker2: 15 image: puckel/docker-airflow:test 16 restart: always 17 depends_on: 18 - scheduler 19 volumes: 20 - ./dags:/usr/local/airflow/dags 21 environment: 22 - FERNET_KEY=****= 23 - EXECUTOR=Celery 24 command: worker -cn worker2 -q worker2 25...省略...
dag
1sampleTask = PythonOperator( 2 task_id='test', 3 python_callable=test, 4 queue='worker2', // <= ここで別EC2インスタンスのworker2を指定したい 5 dag=dag)
あなたの回答
tips
プレビュー