C#でCSVファイルを読み込を行っています。
想定しているCSVファイルは以下になります。
番号 内容
101 テスト1-1
102 テスト1-2
103 テスト1-3
201 テスト2-1
202 テスト2-2
203 テスト2-3
301 テスト3-1
302 テスト3-2
303 テスト3-3
このようなCSVファイルから番号101 - N番までの内容の読み込みを行いたいと考えております。
番号の総数は決まっておらず101 - 130であったり201 - 205だったりします。
処理としては
1.番号の検索
2.検索した番号の連番から内容の列をdatatableに読み込む
扱うデータ量が多いのでなるべく早い処理を実装したいのですが
いい方法はありますでしょうか?
気になる質問をクリップする
クリップした質問は、後からいつでもMYページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/10/29 13:36
回答4件
0
以下のようにしてはいかがですか?
(1) JET プロバイダとか TextFieldParser を使って CSV ファイル全体を DataTable に取り込む。その具体例は以下の記事を見てください。
CSV パーサー
http://surferonwww.info/BlogEngine/post/2010/10/28/CSV-parser.aspx
(2) DataTable.Select メソッドを使って、条件に合う「番号」の DataRow の配列を取得してそれを使う。
DataTable.Select メソッド (String)
https://msdn.microsoft.com/ja-jp/library/det4aw50(v=vs.100).aspx
CSV ファイルが巨大で、上記 (1) が現実的でないということでしたら失礼しました。
投稿2017/10/29 01:40
退会済みユーザー
総合スコア0
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
ベストアンサー
速いかどうかはわかりませんが、素直に考えると、
0. CSVのテキストを1行ずつ読み取って
0. 行頭の番号を見て
0. 指定の範囲内ならその行をDataTableに突っ込む
のような流れになると思います。
cs
1using System; 2using System.Collections.Generic; 3using System.Data; 4using System.Linq; 5 6namespace ConsoleApp1 7{ 8 class Program 9 { 10 static void Main(string[] args) 11 { 12 var csv = string.Join("", Enumerable.Range(101, 50).Select(n => $"{n},test{n}\n")) 13 + string.Join("", Enumerable.Range(201, 60).Select(n => $"{n},test{n}\n")) 14 + string.Join("", Enumerable.Range(301, 40).Select(n => $"{n},test{n}\n") 15 + string.Join("", Enumerable.Range(401, 80).Select(n => $"{n},test{n}\n"))); 16 17 var dt = new DataTable("sampleTable"); 18 dt.Columns.Add("番号"); 19 dt.Columns.Add("内容"); 20 AddDataTableRowsFromCsvText(dt, csv, 215, 240); 21 22 foreach (DataRow row in dt.Rows) 23 { 24 Console.WriteLine(string.Join(",",row.ItemArray)); 25 } 26 Console.Read(); 27 } 28 29 private static void AddDataTableRowsFromCsvText(DataTable dt, string csv, int startNumber, int endNumber) 30 { 31 32 using (var reader = new System.IO.StringReader(csv)) 33 { 34 while (true) 35 { 36 var line = reader.ReadLine(); 37 if (line == null) { break; } 38 39 var number = line.Substring(0, line.IndexOf(',')); 40 if (!int.TryParse(number, out int n)) 41 { 42 continue; 43 } 44 if (n >= startNumber) 45 { 46 dt.Rows.Add(line.Split(',')); 47 } 48 if (n >= endNumber) { break; } 49 } 50 } 51 } 52 53 } 54 55} 56
投稿2017/10/28 23:49
総合スコア60
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
最速は、ファイルの中で、どの番号がファイルのどの位置にあるのかを把握しておいて、
それに基づいて、アクセスすればいい。ファイルのSeekメソッドを使う。
実際そんなのはちょっと面倒なので、行番号の塊ごとに、ファイルを分けて、読み込むファイルをコントロールするのが簡単かな。並列読み込みもできるし。
とはいえ、ファイルまわりで、面倒な実装するなら、DBを使った方がいいとおもいます。
初めに書いたことは、DBのアクセスの仕方をまねているだけですし。
投稿2017/10/29 10:26
総合スコア1984
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
あなたの回答
tips
太字
斜体
打ち消し線
見出し
引用テキストの挿入
コードの挿入
リンクの挿入
リストの挿入
番号リストの挿入
表の挿入
水平線の挿入
プレビュー
質問の解決につながる回答をしましょう。 サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。 また、読む側のことを考えた、分かりやすい文章を心がけましょう。