C# csvファイルを所定の位置から読み込む

Question

C#でCSVファイルを読み込を行っています。
想定しているCSVファイルは以下になります。

番号　　　内容
101 テスト1-1
102 テスト1-2
103 テスト1-3

201 テスト2-1
202 テスト2-2
203 テスト2-3

301 テスト3-1
302 テスト3-2
303 テスト3-3

このようなCSVファイルから番号101 - N番までの内容の読み込みを行いたいと考えております。
番号の総数は決まっておらず101 - 130であったり201 - 205だったりします。

処理としては
1.番号の検索
2.検索した番号の連番から内容の列をdatatableに読み込む

扱うデータ量が多いのでなるべく早い処理を実装したいのですが
いい方法はありますでしょうか？

Comments

[Tak1wa]

番号列は昇順になっているのでしょうか？

[pn47]

番号は昇順になっております。

Answer 1

以下のようにしてはいかがですか？

(1) JET プロバイダとか TextFieldParser を使って CSV ファイル全体を DataTable に取り込む。その具体例は以下の記事を見てください。

CSV パーサー
http://surferonwww.info/BlogEngine/post/2010/10/28/CSV-parser.aspx

(2) DataTable.Select メソッドを使って、条件に合う「番号」の DataRow の配列を取得してそれを使う。

DataTable.Select メソッド (String)
https://msdn.microsoft.com/ja-jp/library/det4aw50(v=vs.100).aspx

CSV ファイルが巨大で、上記 (1) が現実的でないということでしたら失礼しました。

Answer 2

速いかどうかはわかりませんが、素直に考えると、
0. CSVのテキストを1行ずつ読み取って
0. 行頭の番号を見て
0. 指定の範囲内ならその行をDataTableに突っ込む

のような流れになると思います。

using System;
using System.Collections.Generic;
using System.Data;
using System.Linq;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            var csv = string.Join("", Enumerable.Range(101, 50).Select(n => $"{n},test{n}\n"))
                + string.Join("", Enumerable.Range(201, 60).Select(n => $"{n},test{n}\n"))
                + string.Join("", Enumerable.Range(301, 40).Select(n => $"{n},test{n}\n")
                + string.Join("", Enumerable.Range(401, 80).Select(n => $"{n},test{n}\n")));

            var dt = new DataTable("sampleTable");
            dt.Columns.Add("番号");
            dt.Columns.Add("内容");
            AddDataTableRowsFromCsvText(dt, csv, 215, 240);
            
            foreach (DataRow row in dt.Rows)
            {
                Console.WriteLine(string.Join(",",row.ItemArray));
            }
            Console.Read();
        }

        private static void AddDataTableRowsFromCsvText(DataTable dt, string csv, int startNumber, int endNumber)
        {
            
            using (var reader = new System.IO.StringReader(csv))
            {
                while (true)
                {
                    var line = reader.ReadLine();
                    if (line == null) { break; }

                    var number = line.Substring(0, line.IndexOf(','));
                    if (!int.TryParse(number, out int n))
                    {
                        continue;
                    }
                    if (n >= startNumber)
                    {
                        dt.Rows.Add(line.Split(','));
                    }
                    if (n >= endNumber) { break; }
                }
            }
        }

    }

}

Answer 3

DBが何をお使いか分かりませんが、SQLServer2017なら、Bulk InsertでCSVファイルを取り込めます。かなり高速なので環境が合えば検討してみては．．．

Comments

[gentaro]

唐突にDBの話を持ち出す意味がよくわかりません。

Answer 4

最速は、ファイルの中で、どの番号がファイルのどの位置にあるのかを把握しておいて、
それに基づいて、アクセスすればいい。ファイルのSeekメソッドを使う。

実際そんなのはちょっと面倒なので、行番号の塊ごとに、ファイルを分けて、読み込むファイルをコントロールするのが簡単かな。並列読み込みもできるし。

とはいえ、ファイルまわりで、面倒な実装するなら、DBを使った方がいいとおもいます。
初めに書いたことは、DBのアクセスの仕方をまねているだけですし。