Postgresでの大量のテストデータの作成方法

Question

負荷テスト用に1億件ほどのテストデータの作成方法を考えております。
SE歴半年ほどの初心者です、至らぬ点などあると思います。

条件
・カラムは500程度
・各カラムの最大桁数のデータ（0埋めで良い）
・PKは連番（最大桁数を0埋めしつつ）が一番楽そう
・使用するデータ型は以下

• char
• numeric
• int
• timestamp　
• date
• time

試したこと
・Excelのオートフィルを使って100万件ずつデータ作成
→メモリが不足しており実行できない（保存もコピーも行えずPCフリーズ）

・A5mk2ツールのダミーデータ作成機能を使用
→1億件作成できるが1件登録するのに約1.4秒かかる（1億件登録するまでに約3年半かかる）

考えていること（実装できるかどうかは分からない）
・マクロを作成する
→一度に1億回繰り返すとフリーズすること間違いなしなので5万件ずつcsvファイルを作成してバッチで動かすとか？

・スクリプトを作成する
→Powershellで作成できる自信がない（・・・やったことがない）

教えて頂きたいこと
全く良い発想が浮かばないので何でもいいのでご教示頂きたいです。
ソースコードの例など頂けるととてもありがたいです、お願い致します。

Comments

[yoorwm]

データによりますが、SQLで直積を利用すると比較的楽にデータを増殖できますね。
これで分からなかったら、具体的なデータ形式を追記すると良いかと思います。

[oze]

回答ありがとうございます。
PK制約に引っかかる恐れがあるので、何かしらの方法を考えて一度実施してみようと思います。

Answer 1

PostgreSQL: 集合を返すGENERATE_SERIES関数で大量データを生成して集計する
上記が参考になるでしょう。

但し、１億件ともなると、分割コミットを考慮しないと駄目でしょうね
単純なものなら、複数のバッチをパラレル（開始位置はずらす）で実行可能でしょう。
複雑な場合は、ストアドにした方が良いと思います。
CPU負荷率が８０％程度になるくらいまではパラレル実行しても問題ないと思います。

Answer 2

数値的な繰り返しデータであれば、
9.24. 集合を返す関数
generate_series()が使いやすいのですが。

テストデータの投入に際しては、
14.4. データベースへのデータ投入
にある項目を点検すると良いかも。

Comments

[oze]

PKのみgenerate_series()で連番（最大桁数でデータを登録したいので100000001～200000000で行う？）で、その他は0埋めできそうですね、助かります。
回答ありがとうございました。

Answer 3

全部同じデータでいいなら

1. テーブルを２つ用意しますA,B
2. A、Bにそれぞれ同じデータでいいので1個ダミーデータを入れます
3. AにBを流し込み、BにAを流し込み、またAにBを・・・
4. 上記40回くらい繰り返すと1億くらいのデータはすぐです

ドラえもんのバイバインみたいなもので、意外とデータはすぐ肥大化するものです

Comments

[oze]

全くなかった発想で驚きました。
PK制約にひっかかる恐れがあるので何かしらの工夫をして一度試してみます。
回答ありがとうございました。