PostgreSQLでの大量INSERT

Question

PostgreSQLで約3000万件のダミーデータを登録するSQLを作りたいと考えています。
※今回はcsvの取り込み等ではなくSQLでなんとかしたい

そこで「GENERATE_SERIES」を使い試したところメモリ不足で途中でエラーとなってしまいました。
そこで今代案として考えているのが、1件先にレコードを登録して、それをSELECT／INSERTでPKだけ変えながらループさせ、倍々にできないかと考えています。

ただ、そこのループ処理をどのように書けばいいのかわからず頭を抱えている状態です。
申し訳ありませんがご助力いただければと思います。

また、もっといい代案があるようでしたら教えていただきたいです。

Answer 1

多分トランザクション量が多すぎる為に、メモリー不足になったのでしょう。
一度に3000万件は無理があるので、分割して実行するようにしてみて下さい。
尚、PROSEDUREならトランザクション制御は可能(ver11以降)ですが、Functionでは制御できません。

Answer 2

CSVを利用したCOPYがダメとなると、
バルクインサートでしょうか。
https://datumstudio.jp/blog/postgresql%E3%81%A7insert%E9%80%9F%E5%BA%A6%E6%AF%94%E8%BC%83/

そのSQLを作るために何かしらのプログラミング言語を使う必要はありますが、
実行するSQLは1本なのでだいぶ速くはなるかと。

Comments

[sazi]

メモリ不足なので、処理を早くしても効果は得られないのじゃないかと思います。
※コマンドなどを利用する事に、処理の違いでメモリ消費量が変わる事が無いとは言えませんけど。

[m.ts10806]

色々試してみるしかないかもしれませんね。
バルクインサートは処理は早いけど一瞬のメモリ消費量は一番大きいでしょうし。。
SQLだけというのが若干無理があるのかもしれませんね。
よし、サーバのメモリを増強しよう。

Answer 3

PostgreSQL ループ文のサンプル(LOOP,WHILE)