PostgreSQLのデータベース容量見積

Question

テーブルサイズが64590という大きなテーブルがあります。
上記はtext形式が存在するテーブルで、流石に1Gで試算するわけにもいかない
と思い、30000バイトとして試算しようと考えています。

そこで、テーブルの計算式に当てはめると、
行数:10000、fillfactor:100、行データ長:64590
[テーブルデータ量式]
8KB × ceil(行数 / floor(floor(8KB × fillfactor - 24) / (28 + 行データ長)))
=>8192 x ceil (10000 / floor( floor(8192 x 100 / 100 -24) / (28+64590)))

となりますが、行データ長が大きすぎるため、行数の前のfloorによって0となってしまいます。

8192 x ceil ( 10000 / 0 )
で0除算でエラーとなり、計算出来ませんでした。
このような場合、どうしたら良いのでしょうか？

上記計算式の出典は以下です。
https://lets.postgresql.jp/documents/tutorial/gihyo_rensai/5

Comments

[CHERRY]

この計算式が、TOASTテーブル( https://www.postgresql.jp/document/9.6/html/storage-toast.html )がある場合に対応していない気がしますが、この計算式の出典を記載していただけないでしょうか。

[mugichon]

ご回答頂き有難う御座います。出典を質問文に記載しました。

Answer 1

PostgreSQL は、1ページが、8192 バイトを超えれないので、大きなデータは、本来のテーブルとは別のTOASTテーブルに保存する仕様になっています。

TOASTを使っている場合のディスク容量の見積もり計算について、石井さんの書かれた記事に記載がありましたので、以下を参照してください。
Web+DB PRESS Vol.24 徒然PostgreSQL散策 第10回テーブルの構造とディスク容量の見積もり

---

(おまけ)
実際に計算してみようと思いつつ、カラム構成が不明であきらめたのですが、ためしに質問に記載された数字を使って、ざっくりと電卓をたたいてみました。
かなり大雑把な感じになりますが、インデックスを除いて、概算 700MB 位かなと思います。

Comments

[mugichon]

ご回答頂きありがとうございます。
テーブル構造は以下の通りです。

character varying 64
character varying 1024
character varying 64
timestamp without time zone 8
character varying 512
character varying 512
character varying 64
character varying 64
text 30000
text 30000
smallint 2
smallint 2
timestamp without time zone 8
character varying 64
bigint 8
timestamp without time zone 8
smallint 2
timestamp without time zone 8
character varying 64
character varying 2048
character varying 64

TOASTの考え方がよくわかっていなくて恐縮ですが、8192バイトを超える
場合には、元のデータは1994単位に分割され、OID(4バイト?)+Integer(2バイト)+1994
つづ行に格納され、例えば10000バイトの場合には、
(4+2+1994)*5+(4+2+30)=10036バイトになるという事でしょうか？
また、8192バイトを超えない場合には、上記計算式で計算したものをTOASTの計算式
と足せばよいものでしょうか？

[CHERRY]

https://www.postgresql.jp/document/9.6/html/storage-toast.html の記載では、可変長に対応しているデータ型のカラム毎に処理されるように読めます。

今回の構成で、対象となるのは、TEXT 型カラム2個と character varying 2048 と思われますので、対象カラムがすべて TOAST 管理されると仮定した場合(対象カラムに設定値上限のデータ長のデータが入っていると仮定した場合)は、以下の計算になるのではないかと思います。

本体テーブル
　　１行あたり　　　28 (ヘッダ) + 2590 (データ) + 20 * 3 (TOAST管理のポインタ) = 2678
　　ページ数換算　　8168 / 2678 = 3
　　容量　　　　　　8192 * 10000 / 3 = 約 26 MB

TOASTデータ
　　1カラムあたり 　30,000 / 1994 = 16 チャンク　(TEXT型)
　　　　　　　　　　2,048 / 1994 = 2 チャンク　　(VARCHAR 2048)
　　総チャンク数　　 ( 16 + 16 + 2 ) * 10000 = 340,000　(チャンク)
　　チャンクをブロック換算　 340,000 / 4 = 85,000　(ブロック)
　　容量　　　　　　8192 * 85,000 = 664 MB

合計では 690 MB でしょうか。

[mugichon]

詳細なご説明ありがとうございます！
なるほど、、そのような計算になるんですね。。
難しいですが、引用頂いたページを読み込んでみたいと思います！

本当にありがとうございました！！