AWS DataPipeline 編集

Question

AWS Datapipeline のコマンドからの操作についつい質問です。

パイプラインの新規作成や、編集は管理コンソールからはインスタンスタイプやユーザー定義フィールドなどは編集できたり、新規でパイプライ作成もできます。

パイプライン定義を編集する時、ドキュメントに記載されている制約事項には「既存のオブジェクトの参照フィールドの追加、削除、変更はできません」「アクティブなパイプラインを変更する場合、一部のフィールドは灰色で表示され変更できません。」とかかれていますが、CLIで編集を行う際も、管理コンソールで灰色になってるフィールドは同様に編集できないのでしょうか。
参照フィールドがどこを指しているのか不明で教えてもらいたいです。

Answer 1

パイプラインの編集 - AWS Data Pipeline

パイプラインをアクティブ化した後は、パイプラインの編集には以下の制限が適用されます。変更は、保存して、パイプラインを再度アクティブ化した後、パイプラインオブジェクトの実行に適用されます。

• オブジェクトを削除することはできません
• 既存のオブジェクトのスケジュール期間は変更できません
• 既存のオブジェクトの参照フィールドの追加、削除、変更はできません
• 新しいオブジェクトの出力フィールドで既存のオブジェクトを参照できません
• オブジェクトの予定された開始日を変更できません（代わりに、特定の日時でパイプラインをアクティブ化してください）

「制約事項」とは、こちらのことかと思いますが、

CLIで編集を行う際も、管理コンソールで灰色になってるフィールドは同様に編集できないのでしょうか。

この制約事項は、AWS CLIでの編集にも適用されます。マネージメントコンソールで編集できないフィールドは、AWS CLIでも編集できません。

参照フィールドがどこを指しているのか不明で教えてもらいたいです。

他のパイプラインオブジェクトを参照しているフィールドのことを「参照フィールド」と言います。

ShellCommandActivity - AWS Data Pipeline

リファレンスのスロットタイプが参照オブジェクトになっているフィールドが、参照フィールドです。

以下は、アクティベート後のパイプラインですが、

Runs OnはEc2Instanceを参照しているので、参照フィールドであり、変更ができません。一方で、Commandはスロットタイプが文字列なので、変更可能になっています。要するに、アクティベート後は、パイプラインの構造が変わるような変更はできない、ということです。

本題とは関係ありませんが、AWS Data Pipelineは先行きが不透明なので、他のサービスを検討した方がよいかもしれません。

からのワークロードの移行AWS Data Pipeline - AWS Data Pipeline

現在、顧客により良い体験を提供するサービスは他にもあります。たとえば、AWS Step FunctionsAWS を使用してサービスコンポーネントのオーケストレーションを支援したり、Apache Airflow の Amazon 管理ワークフロー (Amazon MWAA) を使用して Apache Airflow のワークフローオーケストレーションを管理したりできます。

Data Pipelineのコンソールで、アナウンスされていました。コンソールは近いうちに使用できなくなるようです。

Please note that Data Pipeline service is in maintenance mode and we are not planning to expand the service to new regions. We plan to remove console access by 04/30/2023.

Comments

[huju098]

回答ありがとうございます。

> この制約事項は、AWS CLIでの編集にも適用されます。マネージメントコンソールで編集できないフィールドは、AWS CLIでも編集できません。

制約事項に関してのjhashimotoさんの認識に相違ないです。
今回一番知りたかったことがマネージメントコンソールで灰色になっているフィールドはAWS CLIでも同じ扱いなのかという点なので回答とても助かりました。

> リファレンスのスロットタイプが参照オブジェクトになっているフィールドが、参照フィールドです。Runs OnはEc2Instanceを参照しているので、参照フィールドであり、変更ができません~

こちらも詳しくありがとうございます。
例としてあげてくださったRuns On以外にもResoucesで例えるとName,Typeは参照オブジェクトに含まれるので変更できないが、Instance Typeは変更できる認識で間違いないでしょうか。
スロットタイプが参照オブジェクトになっているフィールドが参照フィールドとのことですが、前提としてスロットタイプとは何なのかお聞きしてもよろしいでしょうか。

> Data Pipelineのコンソールで、アナウンスされていました。コンソールは近いうちに使用できなくなるようです。

補足でアナウンスの情報ありがとうございます。
まさかのマネージメントコンソールからの使用できなくなるんですね、、、今までデータ移行の機能として管理コンソールより使用していたので現在、代替え案を見つつほかのものに移行しようと思います。

[jhashimoto]

> Name,Typeは参照オブジェクトに含まれるので変更できないが、

Name, Typeは、他のオブジェクトを参照していないので、参照オブジェクトではありません。アクティベート後に変更できないのは、そのとおりです。（制約事項には記載されていませんが）

> Instance Typeは変更できる認識で間違いないでしょうか。

「Ec2ResourceのinstanceTypeを指している」前提で回答しますが、リファレンスを見ればわかるとおり、参照オブジェクトではないので、変更できます。
https://docs.aws.amazon.com/ja_jp/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

心配なら、実際に試してみた方が早いのではないでしょうか。

> 前提としてスロットタイプとは何なのかお聞きしてもよろしいでしょうか。

明確な定義はみつけられませんでしたが、パイプラインオブジェクトの各フィールドのことを「スロット」と呼んでいるようで、「フィールドの種別を表す」と理解しています。