postgresqlからmysqlに大量のテーブル内データをupsertしたい(laravel)

Question

前提:
laravel 5.5

読み取り専用のpostgresqlから、mysqlのテーブルにデータをupsertしたいです。
postgresqlにはsqlを発行することができますが、updateやinsertなどはできません。

postgresqlのテーブル名 = table1
mysqlのテーブル名 = table2
であり、それぞれのテーブルに紐づいたeloquantモデルがlaravelプロジェクト内に存在します。

postgresqlのカラム名はcolumn1, column2, column3で
mysqlのカラム名はid, column_no1, column_no2, karamu3
のように、カラム名がそれぞれ異なります。
また、postgresql側にはidがありません。

upsertしたいレコードの数は100万程度となっています。
現状思いついているのは

1. クエリビルダでtable1のデータをchunk(1000件)で取得する。
2. 1000件に対して一つずつupdateOrCreateで存在を確認し、table2に代入する。

なのですが、結局2においてクエリが1000件*160=160万回飛ぶため実行時間が長くなっています。
可能であれば、1回のクエリで1000件のデータに対して存在するかどうか確認し、バルクインサートを行いたいです。

どのようにすれば良いでしょうか。回答よろしくお願いいたします。

Answer 1

postgres からCOPYでCSV出力して、そのファイルをMySQLにLOAD DATA INFILEで取り込むのが素直だと思います。

Comments

[YKita]

回答ありがとうございます。
upsertを行いたいので、今回の状況を踏まえると
何らかのクエリでid採番を行ってからCOPYでcsv出力→LOAD DATA INFILE REPLACEとすれば良いのではないかと考えましたが、id採番をメモリ負荷すくなく行う方法はご存知でしょうか？

[sazi]

mysqlのidがプライマリーでupsertしたいなら、当然LOAD DATA INFILEする以前に加工しないと駄目ですね。
copyではselectを元に出来ますから、ID採番のルールを組み込めるなら、SQLでID採番すれば良いかと思います。
ID採番がMySQL側で行う方がやり易いなら、CSVを一旦別テーブルに取り込んでから加工の方が良いでしょうね。

[YKita]

確かにおっしゃる通りですね。行ってみます。ありがとうございます。