質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.00%

  • C#

    5781questions

    C#はマルチパラダイムプログラミング言語の1つで、命令形・宣言型・関数型・ジェネリック型・コンポーネント指向・オブジェクティブ指向のプログラミング開発すべてに対応しています。

C# csvファイルを所定の位置から読み込む

受付中

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 241

pn47

score 1

C#でCSVファイルを読み込を行っています。
想定しているCSVファイルは以下になります。

番号   内容
101     テスト1-1
102     テスト1-2
103     テスト1-3

201     テスト2-1
202     テスト2-2
203     テスト2-3

301     テスト3-1
302     テスト3-2
303     テスト3-3

このようなCSVファイルから番号101 - N番までの内容の読み込みを行いたいと考えております。
番号の総数は決まっておらず101 - 130であったり201 - 205だったりします。

処理としては
1.番号の検索
2.検索した番号の連番から内容の列をdatatableに読み込む

扱うデータ量が多いのでなるべく早い処理を実装したいのですが
いい方法はありますでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • Tak1wa

    2017/10/29 07:12

    番号列は昇順になっているのでしょうか?

    キャンセル

  • pn47

    2017/10/29 22:36

    番号は昇順になっております。

    キャンセル

回答 3

+1

速いかどうかはわかりませんが、素直に考えると、

  1. CSVのテキストを1行ずつ読み取って
  2. 行頭の番号を見て
  3. 指定の範囲内ならその行をDataTableに突っ込む

のような流れになると思います。

using System;
using System.Collections.Generic;
using System.Data;
using System.Linq;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            var csv = string.Join("", Enumerable.Range(101, 50).Select(n => $"{n},test{n}\n"))
                + string.Join("", Enumerable.Range(201, 60).Select(n => $"{n},test{n}\n"))
                + string.Join("", Enumerable.Range(301, 40).Select(n => $"{n},test{n}\n")
                + string.Join("", Enumerable.Range(401, 80).Select(n => $"{n},test{n}\n")));

            var dt = new DataTable("sampleTable");
            dt.Columns.Add("番号");
            dt.Columns.Add("内容");
            AddDataTableRowsFromCsvText(dt, csv, 215, 240);

            foreach (DataRow row in dt.Rows)
            {
                Console.WriteLine(string.Join(",",row.ItemArray));
            }
            Console.Read();
        }

        private static void AddDataTableRowsFromCsvText(DataTable dt, string csv, int startNumber, int endNumber)
        {

            using (var reader = new System.IO.StringReader(csv))
            {
                while (true)
                {
                    var line = reader.ReadLine();
                    if (line == null) { break; }

                    var number = line.Substring(0, line.IndexOf(','));
                    if (!int.TryParse(number, out int n))
                    {
                        continue;
                    }
                    if (n >= startNumber)
                    {
                        dt.Rows.Add(line.Split(','));
                    }
                    if (n >= endNumber) { break; }
                }
            }
        }

    }

}

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

以下のようにしてはいかがですか?

(1) JET プロバイダとか TextFieldParser を使って CSV ファイル全体を DataTable に取り込む。その具体例は以下の記事を見てください。

CSV パーサー
http://surferonwww.info/BlogEngine/post/2010/10/28/CSV-parser.aspx

(2) DataTable.Select メソッドを使って、条件に合う「番号」の DataRow の配列を取得してそれを使う。

DataTable.Select メソッド (String)
https://msdn.microsoft.com/ja-jp/library/det4aw50(v=vs.100).aspx

CSV ファイルが巨大で、上記 (1) が現実的でないということでしたら失礼しました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

最速は、ファイルの中で、どの番号がファイルのどの位置にあるのかを把握しておいて、
それに基づいて、アクセスすればいい。ファイルのSeekメソッドを使う。

実際そんなのはちょっと面倒なので、行番号の塊ごとに、ファイルを分けて、読み込むファイルをコントロールするのが簡単かな。並列読み込みもできるし。

とはいえ、ファイルまわりで、面倒な実装するなら、DBを使った方がいいとおもいます。
初めに書いたことは、DBのアクセスの仕方をまねているだけですし。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 91.00%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    [PHP]fetcsv()ですべての行が戻ってきてしまう

    こんにちは。http://php.net/manual/ja/function.fgetcsv.phpを読んだところ、fgetcsv()はCSVファイルを1行ずつ読みこむ関数だと思

  • 受付中

    大量データ処理について

    ショッピングサイトのエンジニアをやってます。 以下質問がございます。 ①月の受注データ(10万件ほど)をselectして、 ②別に読み込んだcsvファイルのデータと1件ずつ突合チ

  • 受付中

    mysql;複数ファイルのインポート

    mysqlに複数のファイルを読み込ませたいです. testテーブルに001,002,003,...nnnというファイルをインポートしたいのですが,ひとつずつやっていくのは手間なので

  • 解決済

    PostgreSQLでテストデータをテーブルに挿入する一番手っ取り早い方法は?

    前提・実現したいこと VBとPostgreSQLを連携させてシステムを作っています。 PostgreSQLに新しいテーブルを作成してそこにテストデータを入れたいです。 テスト

  • 解決済

    selenium・Firefoxで直接ダウンロードする方法

    前提・実現したいこと tagにC#とJavaを入れさせて頂きましたが、開発はVB2015で行っています。 サイト上にあるCSVを定期的に取得する作業を自動化したいと思い、C#用

  • 解決済

    Management Studio 2010 R2 バイナリデータを文字列に変換

    いつもお世話になっております。 バイナリデータを文字列に変換したいのですが、sql文で文字列に変換したいです。 ご教授の程、よろしくお願いします。

  • 解決済

    両方のテーブルデータのマージ

    下記のようなテーブルが2つあり、それぞれにno項目を持つとします。 存在するレコードは下記の通りです テーブルA no 100 101 200 201

  • 受付中

    CSVファイルの保存について

    スクレイピングをしていて、ファイルを保存したいのですが、エラーが出てしまい保存できません。以下のコードを書いているのですが、これだと保存はできないのでしょうか? CSV.op

同じタグがついた質問を見る

  • C#

    5781questions

    C#はマルチパラダイムプログラミング言語の1つで、命令形・宣言型・関数型・ジェネリック型・コンポーネント指向・オブジェクティブ指向のプログラミング開発すべてに対応しています。