SQL実行時に「メモリが不足しています。」と表示される。

Question

###前提・実現したいこと
タイトル通りですが、作成しているアプリケーションからSQLを実行すると下記の例外が発生してしまいます。
SQLが悪いのか、アプリ実装時の問題なのか原因がわからず困っております。

###発生している問題・エラーメッセージ

System.OutOfMemoryException
メモリが不足しております。

###該当のソースコード

    Private Async Function GetData() As Task(Of DataTable)
        Dim dataTable = New DataTable()
        Using con As New SqlConnection(strConnection)
            Using cmd As New SqlCommand("SQL"), con) With {.Connection = con}
                Await con.OpenAsync().ConfigureAwait(False)
                Using da = Await cmd.ExecuteReaderAsync().ConfigureAwait(False)
                    DataTable.Load(da)
                    Return dataTable 
                End Using
            End Using
        End Using
    End Function

###試したこと
実行するSQLをSSMSで実行すると問題なく実行されます。(約200万レコード,30秒ほど。)
時期を指定し、その期間のクエリを発行するのですが期間が長くなると上記の例外が発生してしまいます。
非同期での取得方法に誤りがあるのか、それとも単純にDataTableの限界なのか原因を把握できておりません。
他の方法での取得方法はございますでしょうか。

###補足情報(言語/FW/ツール等のバージョンなど)
.net4.5
SQLServer2014 standard

Answer 1

質問のコードでは、SQLで読みだされた全データがメモリ上の変数dataTableに格納されます。
コードを実行するプロセスが使えるメモリ量よりも、dataTableを大きくしようとすると System.OutOfMemoryExceptionが発生します。

プロセスが使えるメモリ量を増やす事で解決する可能性があります。具体的には、仮想メモリのサイズ（ページファイルのサイズ）を大きくします。

プロセスが使えるメモリの上限（32bitのWindowsでは４GB)に達していてSystem.OutOfMemoryExceptionになっている場合には、仮想メモリの設定では解決できません。

Comments

[yuki00079]

返信ありがとうございます。
>仮想メモリのサイズ
簡易的なアプリケーションなのでそこまで膨大なメモリを使用することを想定しておりませんでした。上記の例外が発生する際には1GB近くのメモリを消費していたのでそれが原因のようですね。

Answer 2

DataTableはとても重たいので200万レコードも入れたら、OutOfMemoryExceptionを起こさなかったとしても使い物にならないと思います。
快適なアプリケーションを作るためには、一度に扱うのは1万レコード未満にすることをお勧めします。

Comments

[yuki00079]

返信ありがとうございます。
>DataTableはとても重たいので
のようですね。代わりのものというのはあるのでしょうか。List?
>一度に扱うのは1万レコード未満に
SQL側で件数を1万件に抑えることはできますが、1万以降のレコードを表示する際にはどのようにすればよいのでしょうか。
GridViewのようなコントロールに表示させられる限界なのか。それとも万以上のレコードを表示するようなアプリから見直すべきなのか。

[hihijiji]

1万って書いたのは上限で、GridViewで表示するなら100件ぐらいにしていおたほうが良いかとおもいます。
>代わりのものというのはあるのでしょうか。List?
はい。重さと扱いやすさのバランスで List<T> は、いい選択だと思います。
>SQL側で件数を1万件に抑えることはできますが、1万以降のレコードを表示する際にはどのようにすればよいのでしょうか。
データ自体に指標となるものがある場合はそれで、無い場合はプライマリーキーに対してシーケンシャル番号を振る位しかないでしょうね。

[hihijiji]

このサイト例では、トップページの新着タブを開いたときは20件ほどしか表示してませんよね。
続きを見たい場合は「▽もっと見る」を押すようになってます。
一度に表示する件数を増やしても、見づらくなってユーザにとってのメリットは殆どありません。
詳しくは「画面のページング」などで検索してみてください。