CSVデータとDBデータを結合する要件があり、
以下のソースを書きましたが、状況次第ではOutOfMemoryが出てしまい、対応に苦慮しています。
なにか良い案があればと思い、質問させていただきました。
vb.net(Main部分)
1 'CSVファイルをDataTableに読み込み 2 sDt_CsvBase = mdl_Common.CsvToTable(sCSVFileName) 3 'sDt_CSV = dt2Clone(sDt_CsvBase, childKey, System.Type.GetType("System.Int64")) 4 sDt_CSV = dt2Clone(sDt_CsvBase, childKey, System.Type.GetType("System.String")) 5 sDt_CsvBase.Clear() 6 7 ''DBデータをDataTableに読み込み 8 sDt_DB = DB2Datable(sSQL) 9 'CloneするとOutOfMemoryが発生するため実行しない。 10 'sDt_DB = dt2Clone(sDt_DBBase, parentKey, System.Type.GetType("System.Int64")) 11 'sDt_DBBase.Clear() 12 13 'DataSetに統合 14 sDs.Tables.Add(sDt_DB) 15 sDs.Tables(0).TableName = "DB" 16 sDs.Tables.Add(sDt_CSV) 17 sDs.Tables(1).TableName = "CSV" 18 19 20 '親となるテーブルのキー項目定義 21 Dim parentColumns(0) As DataColumn 22 parentColumns(0) = RelationColumnSet(parentKey, sDs.Tables(0)) 23 24 '子となるテーブルのキー項目定義 25 Dim childColumns(0) As DataColumn 26 childColumns(0) = RelationColumnSet(childKey, sDs.Tables(1)) 27 28 'リレーション 29 sDs.Relations.Add(New DataRelation("key", parentColumns, childColumns, False))
vb.net
1 dt_Clone = dt_Base.Clone 2 dt_Clone.Columns(changeName).DataType = changeType 3 For Each dr As DataRow In dt_Base.Rows 4 dt_Clone.ImportRow(dr) 5 Next
なお、DBはMySQL5.6ですが、権限はSelectしかないため、Createなどは出来ません。
サンプルで実行したものは、DBは30万件、CSVは2万件程度で、
一時的に、Cloneをしているためメモリが倍掛けで増えています。(OutOfMemoryが発生しやすい)
問題としては、CSVは自動で型決定し、DBは元の型は踏襲しているようで
型合わせのためCloneしているのが、今回の問題になっています。
今回のデータは、10桁の数値データを結合条件にしており、
CSVはDobule、DBはVarchar(String型)になっていたため、String型に合わせています。
・Cast(hoge as Unsignd)にしましたが、DoubleとUInt64は型不一致エラー。
・この例ではDobuleにCastすればよいですが、汎用的にするには、あらかじめCSVの型がわからないと難しい。
・0埋め問題もあるので、これも確実ではない。(001と 1の関係)
Datatableに巨大なデータを入れると問題があるという情報はありましたが、
結合の案が思い浮かばなかったため、何か良案があれば教えてください。
回答2件
あなたの回答
tips
プレビュー