質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Amazon Redshift

Amazon Redshiftは、Amazon社が提供する 高速かつ完全マネージド型でペタバイト規模の クラウドデータウェアハウスサービスです。

Q&A

解決済

1回答

940閲覧

Amazon Redshiftで論理削除状態のテーブルを手早く物理削除できないか(VACUUM DELETEにより解決しなかった)

20190517

総合スコア12

Amazon Redshift

Amazon Redshiftは、Amazon社が提供する 高速かつ完全マネージド型でペタバイト規模の クラウドデータウェアハウスサービスです。

0グッド

0クリップ

投稿2019/05/17 07:20

前提・実現したいこと

バッチ処理でAWS Redshiftのupdate文を活用するため、短時間で終わる方法で論理削除されたレコードを処理したいです。(1.0.5290のupdateで追加された自動VACUUM DELETEで済む想定だった)

試したこと、想定、結果

下調べした結果として論理削除されたレコードが少ないとVACUUMはあまり意味がない事もあるという事だったので、COUNT(*)で返ってくるレコード数 / STL_VACUUM のrowsの値が92%ほどの状態で各種VACUUMを試したところ、期待していた効果が得られませんでした。

VACUUM DELETE ONLY(手動、オート)

想定

  • SVV_TABLE_INFO.tbl_rowsがレコード数に近づく。
  • SVV_TABLE_INFO.sizeが減る。
  • 動作が軽い。

結果

  • SVV_TABLE_INFO.tbl_rowsの値に変化がなかった。
  • SVV_TABLE_INFO.sizeが減らなかった。
  • 確かに数秒~1分程度で終わったが何が変化したかわからない。
VACUUM REINDEX

想定

  • SVV_TABLE_INFO.tbl_rowsがレコード数に近づく。
  • SVV_TABLE_INFO.sizeが減る。
  • STL_VACUUM.sortedrowsはcount(*)の結果になる。
  • 動作が重い。

結果

  • SVV_TABLE_INFO.tbl_rowsの値に変化がなかった。
  • SVV_TABLE_INFO.sizeが減った。
  • STL_VACUUM.sortedrowsはSVV_TABLE_INFO.tbl_rowsと同じ値になった。
  • 1回の実行で実用に耐えない時間がかかった。

知りたいこと

  • updateによって論理削除状態になったrowはVACUUMの対象にならないのか。対象にする方法。
  • sizeが減っている事とtbl_rowsが減っていない事のどちらを気にするべきか。tbl_rowsは減らなくて問題ないのか。
  • 上記でsizeが減っていればokであってもVACUUM REINDEXでは時間がかかる。何か他の手段はないか。
  • 別のテーブルで実施すると上記の結果とはまた異なって変化がない事もあった。何か阻害するような要素があるのか。

これ以外でも何かご存知のことがありましたらご助言ください。

補足情報(FW/ツールのバージョンなど)

PostgreSQL 8.0.2 on i686-pc-linux-gnu, compiled by GCC gcc (GCC) 3.4.2 20041017 (Red Hat 3.4.2-6.fc3), Redshift 1.0.7562

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

先週頃からAUTO_VACUUMで正常に拾われるようになり、自然解決しました。AWSのサイレントupdate的な形でしょうか。

投稿2019/06/12 07:21

20190517

総合スコア12

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問