oracleから抽出したデータとDataTableを結合したい

Question

実現したいこと

DataTable（table）にcsvtableとoracleTableのデータを結合したものを表示したい
###不明点
DataTableを二つ用意してから任意のデータをもってきたいと思ったのですが、下記コードのoracleから取り込んだデータを持ってきたいという箇所にどうやってデータを投入したらよいかがわかりません。

 private void Button_Click_1(object sender, EventArgs e)
        {
            //Csv読み込んだファイル呼ぶ
            DataTable csvtable = Csv(textBox1.Text);
            //オラクルからデータを抽出する
            using (OracleConnection conn = new OracleConnection())
            {
                string DataSource = //"oracleへのパス"；
                conn.ConnectionString = DataSource;
                //コネクションオープン
                conn.Open();
                using (OracleCommand cmd = new OracleCommand(select * from TABLE名)
                {
                    cmd.Connection = conn;
                    using (OracleDataReader reader = cmd.ExecuteReader())
                    {
                        DataTable oracleTable = new DataTable();
                        oracleTable.Load(reader);
                        dataGridView2.DataSource = oracleTable;
                    }
                }
            }
            //結合する

            //レイアウト変更用のDataTable作成
            DataTable table = new DataTable("ReasultDataTable");
            table.Columns.Add("名前", typeof(string));
            table.Columns.Add("年齢", typeof(string));
            table.Columns.Add("性別", typeof(string));
            table.Columns.Add("職業", typeof(string));
            table.Columns.Add("出身", typeof(string));
            //新規のレイアウトにcsv内のデータを投入する
            foreach (DataRow csvrow in csvtable.Rows)
            {
                DataRow dtRow = table.NewRow();
  
                dtRow["名前"] = csvrow["name"];//Csv(textBox1.Text)内の列データをdtRowに挿入  
                dtRow["年齢"] = csvrow["age"];//Csv(textBox1.Text)内の列データをdtRowに挿入 
                dtRow["性別"] = csvrow["gender"];//Csv(textBox1.Text)内の列データをdtRowに挿入 
               
                //oracleから取り込んだデータを持ってきたい
                dtRow["職業"] = csvrow["age"];//オラクルデータ挿入 
                dtRow["出身"] = csvrow["gender"];//オラクルデータ挿入
                 
                table.Rows.Add(dtRow);
            }
             dataGridView1.DataSource = table;
        }

###開発環境
VisualStudio2017

Comments

[Orlofsky]

> ※実際に動作させる際は、select文も*ではなく細かく定めております。その上で30秒かかってしまいます。

そのSELECT文とCREATE TABLE, CREATE INDEX, テーブル毎のレコード件数、実行計画を質問に追記しないと適切なコメントが付くのは難しいでしょう。テーブル名や列名を適当に置換すれば提示しても構わないはず。また、ちゃんと統計情報を収集していますか？

Oracle 統計情報の収集 https://www.shift-the-oracle.com/performance-tuning/dbms_statistics.html
Oracle EXPLAIN PLAN を使って実行計画を取得する https://www.shift-the-oracle.com/sql/explain-plan.html

[退会済みユーザー]

質問は何なのですか？ 表題を見ると 2 つの DataTable を join するクエリ (Linq to Object?) の書き方のように思えますが、中身を見ると Oracle からデータを取得する時間短縮の質問に見えます。

[AEGIL]

統計情報に関しては収集しておりませんでした。実現したいこと質問したいことは結合部分についてが主なので編集させていただきました。誤解を生んでしまい申し訳ありません。

[退会済みユーザー]

質問者さん、無言になってしまいましたが、回答したのでそれに対するフィードバックを書いてください。役に立った/立たなかったくらいはすぐにでも書けると思いますけど。役に立たなかっらなら、どこが期待する回答と違うかなど書いてもらえると別の案が出せるかも。とにかく無言は NG です。

Answer 1

DataTableを二つ用意してから任意のデータをもってきたいと思ったのですが、下記コードのoracleから取り込んだデータを持ってきたいという箇所にどうやってデータを投入したらよいかがわかりません。

DataTable ではなく List<T> 型のオブジェクトに SQL Server と CSV ファイルのレコードを取得し、Linq to Objects を使って内部結合または左外部結合する例ですが、以下の記事が参考になりませんか？

異なるデータソースの結合と表示
http://surferonwww.info/BlogEngine/post/2017/11/26/how-to-join-and-show-the-records-from-different-data-sources.aspx

SQL Server でなく Oracle の場合でも ADO.NET + ODP.NET を使って同じことができるはずです。

List<T> 型のオブジェクトではなくて、どうしても DataTable 同士を結合したいということでも、多少書き方は変わりますが、やはり Linq to Objects で結合できます。

以前作ったサンプルを紹介しておきます。Microsoft が提供するサンプルデーターベース Northwind の Orders テーブル、Customers テーブルを DataTable に取得してそれらを結合しています。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Data;
using System.Data.SqlClient;

namespace ConsoleAppDataTableJoinByLinq
{
    // 結合後の結果を格納するためのクラス定義
    public class Result
    {
        public int OrderID { get; set; }
        public string CompanyName { get; set; }
        public int? EmployeeID { set; get; }
        public DateTime? OrderDate { get; set; }
        public decimal? Freight { get; set; }
    }

    class Program
    {
        static void Main(string[] args)
        {
            string connString = @"data source=lpc:(local)\sqlexpress;initial catalog=NORTHWIND;integrated security=True;";
            string queryOrders = "SELECT [OrderID],[CustomerID],[EmployeeID],[OrderDate],[RequiredDate],[ShippedDate],[ShipVia],[Freight],[ShipName],[ShipAddress],[ShipCity],[ShipRegion],[ShipPostalCode],[ShipCountry] FROM [Orders]";
            string queryCustomers = "SELECT [CustomerID],[CompanyName],[ContactName],[ContactTitle],[Address],[City],[Region],[PostalCode],[Country],[Phone],[Fax] FROM [Customers]";
            DataTable orders = new DataTable();
            DataTable customers = new DataTable();
            using (SqlConnection connection = new SqlConnection(connString))
            {
                using (SqlCommand command = new SqlCommand(queryOrders, connection))
                {
                    SqlDataAdapter adapter = new SqlDataAdapter(command);
                    adapter.Fill(orders);
                }

                using (SqlCommand command = new SqlCommand(queryCustomers, connection))
                {
                    SqlDataAdapter adapter = new SqlDataAdapter(command);
                    adapter.Fill(customers);
                }
            }

            // 内部結合
            var innerJoin = from o in orders.AsEnumerable()
                            join c in customers.AsEnumerable()
                            on o.Field<string>("CustomerID") equals c.Field<string>("CustomerID")
                            where o.Field<int?>("EmployeeID") == 9
                            select new Result
                            {
                                OrderID = o.Field<int>("OrderID"),
                                CompanyName = c.Field<string>("CompanyName"),
                                EmployeeID = o.Field<int?>("EmployeeID"),
                                OrderDate = o.Field<DateTime?>("OrderDate"),
                                Freight = o.Field<decimal?>("Freight")
                            };

            foreach (Result result in innerJoin)
            {
                Console.WriteLine($"Id: {result.OrderID}, Name: {result.CompanyName}, EmpID: {result.EmployeeID}, Date: {result.OrderDate}, Freight: {result.Freight}");
            }

            Console.WriteLine("--------------------------------");

            // 左外部結合
            var leftOuterJoin = from o in orders.AsEnumerable()
                                join c in customers.AsEnumerable()
                                on o.Field<string>("CustomerID") equals c.Field<string>("CustomerID") into cGroup
                                from item in cGroup.DefaultIfEmpty()    // Empty だと item が null になる
                                where o.Field<int?>("EmployeeID") == 9
                                select new Result
                                {
                                    OrderID = o.Field<int>("OrderID"),
                                    CompanyName = (item == null) ? "N/A" : item.Field<string>("CompanyName"),　// item.Field<string>("CompanyName") ?? "N/A" ではだめ
                                    EmployeeID = o.Field<int?>("EmployeeID"),
                                    OrderDate = o.Field<DateTime?>("OrderDate"),
                                    Freight = o.Field<decimal?>("Freight")
                                };

            foreach (Result result in leftOuterJoin)
            {
                Console.WriteLine($"Id: {result.OrderID}, Name: {result.CompanyName}, EmpID: {result.EmployeeID}, Date: {result.OrderDate}, Freight: {result.Freight}");
            }
        }
    }
}

Comments

[AEGIL]

返信遅くなってしまい申し訳ございません。回答して頂いたものを参考にしてDataTable同士を結合するものではなく1から書き直しておりました。まだ、思うように動作ができておらず
回答内のselect new Resultの役割を教えていただいてもよろしいですか？

[退会済みユーザー]

> 回答内のselect new Resultの役割を教えていただいてもよろしいですか？

Result はコードのコメントにありますように「結合後の結果を格納するためのクラス」です。new で Result クラスのインスタンスを生成して、new Result { ... } の ... のコードで各プロパティに Linq の式で取得したデータを代入しています。select で取得したレコードの数だけそれを繰り返すので最終的に List<Result> 型のオブジェクトとして取得しています。

[AEGIL]

動作致しました。ありがとうございます。一応お聞きしたいのですが、どのサイトでもlinqが勧められていて処理速度もDataTableを結合するよりも早いと出ていました。上記の質問でのコードでの結合もしようとしたのですが、やはり面倒になりますか？
//tableからバーコードのユニークリストをつくる　
DataTable dtDistinct = ResultDT.DefaultView.ToTable(true, "Barcode");
//そのユニークリストを使ってSQLを書く
DataRow[] dataRows = dtDistinct.Select("");

//オラクルにSQLを投げてOracleDTで受け取る

//oracleDTとcsvDTをぶつけてtableに書き込む
foreach (DataRow r in csvDt.Rows)
{
if(csvDt/*のカラム名*/ == oracleDT/*のカラム名*/)
{

}
}

[退会済みユーザー]

DataTable が適材適所かとか、開発者の知識や開発チームの方針とか、開発工数と保守工数とかを総合的に判断して決める話だと思います。

昔ながらのアプリ、例えば WinForms + ADO.NET + DataGridView で DB の表示・編集・更新などを行うアプリとかでは DataSet / DataTable が適材適所と言えると思います。

新規開発であれば Linq to Entities / Objects を採用する方向に進むのが選択肢の一番に来るのではとは思いますが。

[AEGIL]

なるほど。ご返答ありがとうございます。