前提・実現したいこと
社内に複数のサービス・DBが存在するためそれらからレプリケーション、あるいはETL等を用いて同期をとり集約した
データレイクの構築を考えています。
しかし、ソースとなるDBのスキーマが比較的高頻度に変更されます。
この様な状況でデータレイク側のスキーマ管理をどのようにしているか知見等あれば知りたいです。
- DDLをソースとデータレイク両方に流して動悸している
- 必要なカラムに絞って同期が破綻しないようにして折を見てスキーマを同期する
- ソースDBのスキーマ変更でレプリケーションが壊れたら、レプリケーションを最初からやり直す
あなたの回答
tips
プレビュー