BulkCopyにてUpdate、Insertを実現。

Question

###前提・実現したいこと
BulkCopyを最近知り、高速更新に感動しているところですがBulkCopyではレコードのない(Keyに違反していない)ものしか処理が出来ず、高速で更新(すでにレコードが存在する場合Update)をかけるような処理がないかと考えております。
SQLでいうMerge,Upsertのようなもの。

###発生している問題・エラーメッセージ

高速でDB更新を行いたい。

###補足情報(言語/FW/ツール等のバージョンなど)
.net4.5

Answer 1

更新などが出来ない代わりに高速に処理できるのがバルクコピーの特徴です。
ですから、一時的なテーブル(※一時テーブルとは限らない)を作ってそこに一気にアップロードしてから、ストアドなどで適切な処理を行うのが一般的です。

Comments

[yuki00079]

返信ありがとうございます。
>一時的なテーブル(※一時テーブルとは限らない)を作ってそこに一気にアップロード
>ストアドなどで適切な処理を行うのが一般的
たとえばどのような処理方法なのでしょうか？。一時テーブルの作成処理を行った経験がございませんのでイメージがわきません。
一時テーブル？に対象データをBulkCopy後、どのような処理が適切なのでしょうか。

[hihijiji]

>>一時的なテーブル(※一時テーブルとは限らない)
この表現があいまいでしたね。
私はバルクコピーに使うテーブルは、名前が#から始まるローカルテンポラリテーブルや、名前が##から始まるグローバルテンポラリテーブルではなく、普通のテーブルを作っておいて TRUNCATE TABLE でクリアしてから使ってます。
最後に処理したデータを残しておくことで、トラブルがあったときの役に立つかな？と思っての事です。しかし実際に役立ったことはなかったのでお好きなように。
ストアドプロシージャは、「SQLでいうMerge」をそのまま書くだけです。

[yuki00079]

>私はバルクコピーに使うテーブルは
なるほど、その辺は用途次第ですね。
>ストアドプロシージャは、「SQLでいうMerge」
一時テーブルと実際処理を行いたいテーブルでのMerge処理ですか。
コードだけでは実現が困難のようですね。その例だとSQLが必要になりますね。

考えていた処理ではBulkCopy時に元のDBに一致するレコードがあれば処理を変更する等を考えていたのですが難しそうですね。

[hihijiji]

コードを書くのが好きでSQLが嫌いなら、NET Framework から使える SqlBulkCopy もあります。
上記手順よりは大分低速になりますが、.IDEの機能を使えばSQLを書かなくても何とかなったはずです。

[yuki00079]

SQLを書くのが嫌いというわけではないのですが、コードだけで完結できるかなと考えた次第です。臨機応変にストアドのようなサーバー側の力も借りて処理を行っていきます。

Answer 2

DBによって動作が違うかもしれませんので、実際にPRIMARY KEYやUNIQUE KEYがあるテーブルとないテーブルを用意して動作確認されては？

Comments

[yuki00079]

返信ありがとうございます。
当方はSQLServerでの更新のみ考えております。
また、Key違反や重複によるエラーは既に確認済みです。(データInsertの為。)

[Orlofsky]

SQLServerの環境があるならキーがダブるデータを2件用意して実行されては？
わたしはSQLServerの環境がないのと正規マニュアルが分からいので確認していません。