C#からMySQLにDataTableを渡したい

Question

Windows10で visual studio 2017 communityを使ってコードを書いております。。

MySQLで用意された.NET用のdll(MySQL.DATA.dll)を利用してMySQLにコネクションしております。

※やりたい事
数万件のデータが入ったCSVデータを一括でMySQLのテーブルに追加したいです。
例えばですが、CSVデータには商品コードと個数が入っているときに
このデータを商品情報のテーブルデータと結合して、出荷テーブルに入れたいとき
MS SQLServerを使った場合は、いったんCSVデータをDataTableに取込んで そのDataTable を
DBにパラメータとして更新していました。
(↓こんな感じ)
MS SQLServer側にユーザー定義テーブル(userTable)を用意しておく。

　　SqlConnection cn = new SqlConnection("接続情報")
　　cn.Open();
　　SqlCommand cmd = cn.CreateCommand();
    cmd.Parameters.Add(new SqlParameter("@DT", SqlDbType.Structured));
　　cmd.Parameters["@DT"].Direction = ParameterDirection.Input;
    cmd.Parameters["@DT"].TypeName = "userTable";
    cmd.Parameters["@DT"].Value = CsvDataTable; //←CSVデータをDataTableに入れてる
    
    string sql 
    sql = "insert into targetTable ";
    sql += "select a.商品コード, b.商品名, a.個数, b.商品価格, (a.個数 * b.商品価格) as 小計 ";
    sql += "from @DT as a ";
    sql += "left join 商品テーブル as b on b.商品コード = a.商品コード";
    cmd.CommandText = sql;
    cmd.ExecuteNonQuery()

MySQLに DataTable を渡す方法はありますでしょうか？

コードや、参考になるサイトなどご教授いただきたく
何卒よろしくお願いいたします。

Answer 1

環境がないので検索しただけで検証はしていないのですが、

「Bulk copy a DataTable into MySQL (similar to System.Data.SqlClient.SqlBulkCopy)」
https://stackoverflow.com/questions/30615443/bulk-copy-a-datatable-into-mysql-similar-to-system-data-sqlclient-sqlbulkcopy

MySqlDataAdapter より MySqlBulkLoader を使うと速いよとのコメントがあります。

ちょっと気になることがあって

「5.14 Using the MySqlBulkLoader Class」
https://dev.mysql.com/doc/connector-net/en/connector-net-programming-bulk-loader.html

中段あたりの「Note」に、Local プロパティを True にせよと書いてあります。

「MySqlBulkLoader.Local Property」
https://dev.mysql.com/doc/dev/connector-net/8.0/html/P_MySql_Data_MySqlClient_MySqlBulkLoader_Local.htm

なんだかよくわからない・・・

Comments

[Com]

ありがとうございます！
他のサイト見てみましたが、セイキュリティ設定の問題のようです。

この辺の書き方で、まだ動くところまでコード書けていません。。。

Answer 2

MySqlDbType Enumeration

SqlDbType.Structured に対応するものはありません。なので、同じ方法は使えません。
商品テーブルをあらかじめ読み込み、それと CSV から目的のデータを作って insert するのが簡単だと思います。

Comments

[Com]

無いという情報、大変ありがたいです！

[Zuishin]

無いのが本題ではなく、次に書いているのが本題です。ストアドプロシージャーを使わないのであれば、関連テーブルをローカルに読み込むのが非接続型データアクセスの常道です。

[Com]

失礼いたしました！
そういう意図だったのですね。勉強になります！

Answer 3

何を言っているのか理解できませんが・・・

以下の記事の「図１」「図２」のようなことがしたいということですか？

DB 設計者のための明解 ADO.NET 第 1 回
https://docs.microsoft.com/ja-jp/previous-versions/cc482903(v=msdn.10)

であれば、Connector/NET をインストールすれば、Visual Studio のデータソース構成ウィザードを使って、 MySQL のテーブルのレコードの一覧表示、編集、更新を行う Windows Forms + DataGridView アプリを作ることができますよ。

実行すると以下のようになります。

Comments

[Com]

ありがとうございます！
確かに、、、やりたい事を書いていませんでした。。。

質問文に追加させていただきました！
「
※やりたい事
数万件のデータが入ったCSVデータを一括でMySQLのテーブルに追加したいです。.......
」

[退会済みユーザー]

mysql csv bulk import などをキーワードにググって調べたことがありますか？ もしまだならやってみましょう。 すでに調べたと言うことなら、ヒットした記事を 2,3 例にあげて、それのどこが目的に合わないか書いてください。

[退会済みユーザー]

もし、DataTable が完成していて(もしくはそこは問題なく可能ということで)、そこから話を始めたいということでしたら、DataAdapter を利用してバルクインサートという方法はいかがですか？

[退会済みユーザー]

上のコメントの DataTable + DataAdapter を利用した操作の URL を参考に書いておきます。SQL Server + SqlClient の場合なので、MySQL + Connector/NET に同様な機能があるかは分かりませんが。

DataAdapter を使用したバッチ操作の実行
https://docs.microsoft.com/ja-jp/dotnet/framework/data/adonet/performing-batch-operations-using-dataadapters

[Com]

おおお。
UpdateBatchSize　プロパティがバッチってことですね！
確認しましたら、MySql.Data.MySqlClient.MySqlDataAdapter で
UpdateBatchSizeプロパティが 出てきました！

試してみます！

[Com]

時間が掛かってしまいましたが、この方法でガシガシ動かすことができました。
ありがとうございます！

Answer 4

たぶんやりたいことはMySQL用のADO.NETドライバ（Connector/NET）を使えばできます。
ググってみてください。

Comments

[Com]

ありがとうございます！

ここを見つけました。
https://ameblo.jp/tetsuya-staff/entry-10157130800.html
DataAdapter　と　MySqlCommandBuilder を利用して
DataAdapter.Update(DataTable) で簡単に更新できるよって内容です。

DataTableを渡すのとは少し違いますが、応用でなんとか解決できそうです。。。