AWS AppFlowとAWS Glueの違いに関して

Question

業務でデータ分析基盤をAWS上に構築しようとしています。

その分析基板に外部システムからデータを連携するのにETLツールの導入を検討しているのですが、
AWS AppFlowとAWS Glueで実現できることの違いが判りません。

どちらもAWSが提供するETLツールである認識なのですが、
両ツールでの得意不得意、こういった場合はこちらを使うべきなどの指標があればご教示ください。
(特に性能面、コスト面に関する指標があればご教示ください)

まだ諸々検討中の状況であるため、当方の状況をあまり記載できないのですが、
データ変換処理は外部システム側で実装されているため、ETLツールで複雑な処理は実装しない想定です。(単純なデータ連携のみとなる想定)

最後に当方の理解を記載します。　誤りあればご指摘ください。

■AppFlow

• Saasからのデータ連携用のツールであり(？)、データ連携元としては限られたソースしかサポートされていない
• 複雑な変換処理は実装できない(？)
• ランニングコストが(Glueに比べ)安価(？)

■Glue

• 様々なデータソースからの連携が可能
• Python、Scalaで処理を記述することで複雑な変換処理の実装が可能

Answer 1

大体の認識は合ってるのでは。

外部システムの使用がわからないのでなんともですが、AppFlowはご認識の通り連携元がほとんどSaaSなので単純にそもそも適用外になる可能性が高いのではないでしょうか。

一方でGlueはデータソースとしてはJDBC、S3、DynamoDBと、既に作成されたテーブルのみです。

この2つしか書いていませんが、データソースとなる外部システムの仕様によってはいずれも使用できない可能性もあります。
性能やコストよりも前に、まず使用可能かどうかを確認すべきでは、と思います。

Comments

[kouitic]

回答遅くなり申し訳ございません。
ご指摘の通りまずは外部システム仕様確認してから検討進めるようにいたします。