CSVTable結合の仕方について

CSVデータとDBデータを結合する要件があり、
以下のソースを書きましたが、状況次第ではOutOfMemoryが出てしまい、対応に苦慮しています。
なにか良い案があればと思い、質問させていただきました。

vb.net(Main部分)
1            'CSVファイルをDataTableに読み込み
2            sDt_CsvBase = mdl_Common.CsvToTable(sCSVFileName)
3            'sDt_CSV = dt2Clone(sDt_CsvBase, childKey, System.Type.GetType("System.Int64"))
4            sDt_CSV = dt2Clone(sDt_CsvBase, childKey, System.Type.GetType("System.String"))
5            sDt_CsvBase.Clear()
6
7            ''DBデータをDataTableに読み込み　
8            sDt_DB = DB2Datable(sSQL)
9            'CloneするとOutOfMemoryが発生するため実行しない。
10            'sDt_DB = dt2Clone(sDt_DBBase, parentKey, System.Type.GetType("System.Int64")) 
11            'sDt_DBBase.Clear()　
12
13            'DataSetに統合
14            sDs.Tables.Add(sDt_DB)
15            sDs.Tables(0).TableName = "DB"
16            sDs.Tables.Add(sDt_CSV)
17            sDs.Tables(1).TableName = "CSV"
18
19
20            '親となるテーブルのキー項目定義
21            Dim parentColumns(0) As DataColumn
22            parentColumns(0) = RelationColumnSet(parentKey, sDs.Tables(0))
23
24            '子となるテーブルのキー項目定義
25            Dim childColumns(0) As DataColumn
26            childColumns(0) = RelationColumnSet(childKey, sDs.Tables(1))
27
28            'リレーション
29            sDs.Relations.Add(New DataRelation("key", parentColumns, childColumns, False))

vb.net
1            dt_Clone = dt_Base.Clone
2            dt_Clone.Columns(changeName).DataType = changeType
3            For Each dr As DataRow In dt_Base.Rows
4                dt_Clone.ImportRow(dr)
5            Next

なお、DBはMySQL5.6ですが、権限はSelectしかないため、Createなどは出来ません。
サンプルで実行したものは、DBは30万件、CSVは2万件程度で、
一時的に、Cloneをしているためメモリが倍掛けで増えています。(OutOfMemoryが発生しやすい)

問題としては、CSVは自動で型決定し、DBは元の型は踏襲しているようで
型合わせのためCloneしているのが、今回の問題になっています。

今回のデータは、10桁の数値データを結合条件にしており、
CSVはDobule、DBはVarchar(String型)になっていたため、String型に合わせています。
・Cast(hoge as Unsignd)にしましたが、DoubleとUInt64は型不一致エラー。
・この例ではDobuleにCastすればよいですが、汎用的にするには、あらかじめCSVの型がわからないと難しい。
・0埋め問題もあるので、これも確実ではない。(001と 1の関係)

Datatableに巨大なデータを入れると問題があるという情報はありましたが、
結合の案が思い浮かばなかったため、何か良案があれば教えてください。

YAmaGNZ

2019/02/17 09:42

CSVを読み込む時に、最初から型を合わせて読み込めば複製して型変換を行わないで済みますが、CSV読み込み部を変更できないのですか？また、ローカルで別のDBを使用してはダメなのですか？

FujiCandy

2019/02/18 01:18 編集

ローカルDBも考えたのですが、DBデータとCSVデータのImportに時間がかかりすぎて、一旦除外していました。ですが、その手も考えておきます。なお、CSVは別システムから出力されたデータですが、出力後の加工は可能です。

行動規範の内容に同意します

回答2件

ベストアンサー

まず、mdl_Common.CsvToTableで作成されるDataTableですが、ここでキーになるデータ型を揃えてしまえば、後にCloneを作る必要がなくなるかと思います。

また、DataTableにてリレーションを張るのではなく、Listなどにデータ格納し、LINQにてJOIN等で結合するなどを考えてもいいのかもしれません。

小手先の方法ですが、32ビットアプリの場合、EDITBINの/largeaddressawareで2Gを超えるメモリを使用できるようにできますので、単純に足りないのであれば、これを行うと改善する可能性もあります。

投稿2019/02/18 04:00

YAmaGNZ

総合スコア10242

FujiCandy

2019/02/18 07:44

色々とありがとうございます。データの型ですが、テーブル＋項目が多量にあったため、除外してましたが、多量データの場合については、これも視野にいれてみます。最悪、DBデータを入れてから、DBの結合キーとなるデータ型に CSVのキー項目を変換して対応しようかと思います。(CSVのみClone) LINK LINQについては、私が不得手・不勉強でしたので、パフォーマンスとかいいと聞いてますが、外しました。（外部結合などよくわからなかったので）ただ、メモリの使い方等が違うかもしれませんので、視野にいれてみます。 EDITBINは、初めて知りましたが、こういうのがあるのですね。ぜひとも活用してみます。

行動規範の内容に同意します