【VBA】【ADO】OracleDBからデータ取得時、重複レコードが発生する

前提・実現したいこと

VBAで、ADOにてOracleDBからデータを取得するコードを書いています。
おおむねうまくいっていると思ったのですが、大量レコードが存在するテーブルに対してSelect文を発行すると、
重複レコードが含まれる形で結果が返ってきてしまいます。

発生している問題・エラーメッセージ

下記ソースコードを実行すると、

対象テーブルに存在するレコード数 + FetchSizeで指定した値 の結果が取得されてしまいます。
取得結果の内容を確認すると、FetchSizeで指定した値の分だけ、重複レコードが取得されてしまっていました。

（Execelにペーストしテーブルに変換した後、重複行を削除の操作で、FetchSizeで指定した値の分削除される）

重複レコードを削除した後は、本来のテーブルに存在するデータが取得されているように見えます。

（量が多いため検証しきれていませんが、重複レコードを削除した後であればDBに貼り付けてもエラーが起きない。重複行がある時点では、一意制約違反などでエラー）

下記に試したことを記載しておりますが、当方にはなぜこのような現象が発生するのか全く分かっていないため、
以下に心当たりがありましたら、ご助言いただけますと幸いです。

事象の原因
回避策（あれば。現在は、大きいテーブルを取得する場合は少しずつ取得する方法を検討しています）

該当のソースコード

VBA
1'SQLの実行
2Public Sub Test()
3    ' Create
4    Dim con As New ADODB.Connection
5    con.Provider = "OraOLEDB.Oracle"
6    con.ConnectionString = "FetchSize=8000;" & _
7                           "Data Source=(HOST):(PORT)/(DB);" & _
8                           "Persist Security Info=True;" & _
9                           "User ID=(USERID);Password=(PASS);"
10    con.Open
11    
12    ' Select
13    Dim strSql As String
14    strSql = "select * from (大量レコードの存在するテーブル名)" ' レコード数は16000程度で発生
15    
16    Dim recordSet As New ADODB.recordSet
17    recordSet.ActiveConnection = con
18    recordSet.CursorLocation = adUseServer
19    recordSet.LockType = adLockBatchOptimistic
20    recordSet.Open strSql, recordSet.ActiveConnection, adOpenStatic, adLockBatchOptimistic
21    
22    Dim rCount As Integer
23    rCount = recordSet.RecordCount ' ここで取得できているレコード数がおかしい。
24End Sub

試したこと

重複レコード数が、ConnectionString の FetchSize に指定している値と同一であったため、

FetchSize の値をいろいろ変更してみました。
その結果、FetchSize が取得対象のテーブルのレコード数の半分以下だと、重複レコードが取得されてしまうことがわかりました。

FetchSize に指定する値を大量レコードの数より大きくすれば、重複レコードが発生しません。

ただし、今回は取得対象が16000程度で発生したものの、30万程度レコードが存在するテーブルを対象とすることもあり、あまりFetchSize を大きくし過ぎるとメモリーが割り当てられず失敗してしまいます。

補足情報（FW/ツールのバージョンなど）

Oracle：Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
MS Office 2016

退会済みユーザー

2021/03/08 02:58 編集

FetchSize無指定の場合の挙動はどうなんでしょう？あと、OracleはRecordCountプロパティの使用を推奨していないみたいですが。（備考を参照） https://docs.oracle.com/cd/E16338_01/win.112/b58887/serprop107.htm

mjnk_ct

2021/03/08 03:09

おそれいります。無指定の場合は、100件の重複レコードが発生します。

退会済みユーザー

2021/03/08 05:09 編集

サンプルコードはRecordCountを取得しているだけで実際にデータを取得する部分が含まれていないようですが、現象を再現できるコードにした方がよいかと思われます。別のテーブルをselectしても、同じような現象が発生しますか？（テスト用に新規テーブルを作った場合など）あと、タグのADO.NETは.NETプラットフォームで使用するもので、ADOとは別物なのでADOに直した方がよいです。

mjnk_ct

2021/03/08 23:26

> サンプルコードはRecordCountを取得しているだけで実際にデータを取得する部分が含まれていないようですが、現象を再現できるコードにした方がよいかと思われます。そうですね、実際はこちらの処理の後、RecordCountで取得した値を使ってFor文を回して値を取得しています。このソースの時点で、重複レコードが取得されている=RecordCountの数値がおかしいことが確認できたため、このコードで投稿させていただきました。ソースの修正はすぐに着手できないのですが、時間を見つけ修正いたします。 > 別のテーブルをselectしても、同じような現象が発生しますか？（テスト用に新規テーブルを作った場合など）環境があまりいじれず、新規テーブルで試行できておりませんが、既存のテーブルではFetchSize*2以上のレコード数が存在するテーブルでは同様の現象が発生しました。 > あと、タグのADO.NETは.NETプラットフォームで使用するもので、ADOとは別物なのでADOに直した方がよいです。コメントありがとうございます。大変失礼しました。修正致します。

行動規範の内容に同意します

回答3件

ベストアンサー

同様の事象を経験しました。
Oracleのバグと思います。
クライアント側をODAC 19cに入れ替えると解消しました。

投稿2021/03/12 07:32

corgi

総合スコア19

mjnk_ct

2021/03/12 08:07

コメントいただきありがとうございます。 Oracleの入れ替えで解消する可能性があるとのことで、事象については理解しました。今回は少しずつSelectするようにして対応したいと思います。ありがとうございました。

行動規範の内容に同意します

こちらに関連すると思われる状況となり困っておりました。
参考にさせて頂き、解決することができました。有難うございます。
【現象】
・カーソル処理で、EOFを見ながらデータを取得すると、１００件余計にデータが取得できる
・SQLの実行結果の件数が、１００の倍数で発生
・データの１００件が重複して取り出される
【対処】
・こちらのページを参考に１９ｃにすることで解決致しました。
・１９ｃに変更できない場合、未検証ですが・・・
（１）重複が最後の１００件（=FetchSize）と考えられます。
件数がFetchSizeの倍数であった場合に、読み飛ばすことで回避できる可能性があると考えます。
（２）件数がFetchSizeの倍数である場合、UNION ALLにて１レコード追加するなど、件数を変更することで、
回避できる可能性があると考えます。