Visual Studio 2017でC#の開発をしています。約18万件のdatファイル（合計約9ギガ）を読み込み必要なデータを抽出しリストとしてまとめたCSVを1つ作成するようにしています。

Question

お世話になっております。
Visual Studio2017でC#の開発をしています。
内容としては比較的単純な動作（datファイルの中から必要なキーとなる行のみを抽出しそれぞれの値を格納、csvファイルとして書き出す作業をフォルダ内のdatファイルの数だけ作業を繰り返すようにしています。
実行時に検証としてデータを約1万6千件程度で試したところ、正しく動作しcsvファイルも想定していた内容で作成されました。
しかし、4万件を超えたあたりから

「リソース制限を超過しています。このウィンドウのデータコレクションが停止しました。」
という表示が出て処理が途中で止まりcsvファイルが作成されませんでした。

1つのフォルダに約18万件のdatファイル（1つ約40kb程度）が入っているものをまとめて処理して1つのcsvにしたいと考えていますが、解決策が見つかりません。

詳しい方、どうかご教授をお願い致します。

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;

namespace ConsoleApp1
{
    class DatRowValues
    {
        public string ProcessData { get; set; }

        public string KeyValue { get; set; }

        public  string IntValue { get; set; }

        public string StringValue { get; set; }
    }

    class NewDatRowValues
    {
        public string EqpId { get; set; }

        public string LotId { get; set; }

        public string WaferId { get; set; }

        public DateTime SDate { get; set; }
    }

    class NewDatRowValuesMapper : CsvHelper.Configuration.ClassMap<NewDatRowValues>
    {
        public NewDatRowValuesMapper()
        {
            Map(x => x.EqpId).Index(0);
            Map(x => x.LotId).Index(1);
            Map(x => x.WaferId).Index(2);
            Map(x => x.SDate).Index(3).TypeConverterOption.Format("yyyy/MM/dd HH:mm:ss");
        }
    }

    class Program
    {
        static void Main(string[] args)
        {
            // 書き出し用の入れ物を用意
            var writeDatList = new List<NewDatRowValues>();

            // 読み込み
            foreach (string fileName in Directory.GetFiles(@"C:\検証用\検証データ\MLOG_RCV\BACKUP", "*.dat"))
            using (var sr = new StreamReader(fileName, System.Text.Encoding.GetEncoding("shift_jis")))
            using (var inputDat = new CsvHelper.CsvReader(sr))
            {
                inputDat.Configuration.HasHeaderRecord = false;

                // 必要なキーとなる行のみ抽出
                var dat = inputDat.GetRecords<DatRowValues>();
                var targetRows = dat.Where(r =>
                r.KeyValue == "EQP_ID" ||
                r.KeyValue == "LOT_ID" ||
                r.KeyValue == "WAFER_ID" ||
                r.KeyValue == "S_DATE");

                // それぞれの値を格納
                var newRow = new NewDatRowValues();
                foreach (var row in targetRows)
                {
                    if (row.KeyValue == "EQP_ID")
                    {
                        newRow.EqpId = row.StringValue;
                    }
                    if (row.KeyValue == "LOT_ID")
                    {
                        newRow.LotId = row.StringValue;
                    }
                    if (row.KeyValue == "WAFER_ID")
                    {
                        newRow.WaferId = row.StringValue;
                    }
                    if (row.KeyValue == "S_DATE")
                    {
                        newRow.SDate = DateTime.Parse(row.StringValue);
                    }
                }
                writeDatList.Add(newRow);
            }

            // 書き出し
            using (var sw = new StreamWriter(@"C:\検証用\検証データ\MLOG_RCV\BACKUP\list.csv"))
            using (var outputDat = new CsvHelper.CsvWriter(sw))
            {
                outputDat.Configuration.HasHeaderRecord = false;
                outputDat.Configuration.RegisterClassMap<NewDatRowValuesMapper>();
                outputDat.WriteRecords(writeDatList);
            }
        }
    }
}

Answer 1

提示されている件数が入力総件数なのか入力ファイル１つあたりの件数なのか、出力件数なのか記載されていないので的外れかもしれませんが

１．１つのCSVを読み込む
２．１で読み込んだデータから必要データを抽出する
３．１～２をファイル数分繰り返す
４．抽出したデータを１つのCSVへと出力する
という流れですよね。

これを
１．１つのCSVを読み込む
２．１で読み込んだデータから必要データを抽出する
３．抽出したデータを１つのCSVへと追記出力する
４．１～３をファイル数分繰り返す
とすれば、使用する資源を減らすことができるのではないでしょうか。

また、CsvHelperを使用せずにテキストファイルとして1行づつ読み込み順次処理していくことやデータベースの使用を考えたほうがいいかもしれません。

追記

出力用のリストを使用しない場合のサンプル

        static void Main(string[] args)
        {
            // 書き出し用のファイルを用意
            using (var sw = new StreamWriter(@"C:\検証用\検証データ\MLOG_RCV\BACKUP\list.csv"))
            using (var outputDat = new CsvHelper.CsvWriter(sw))
            {
                outputDat.Configuration.HasHeaderRecord = false;
                outputDat.Configuration.RegisterClassMap<NewDatRowValuesMapper>();

                // 読み込み
                foreach (string fileName in Directory.GetFiles(@"C:\検証用\検証データ\MLOG_RCV\BACKUP", "*.dat"))
                    using (var sr = new StreamReader(fileName, System.Text.Encoding.GetEncoding("shift_jis")))
                    using (var inputDat = new CsvHelper.CsvReader(sr))
                    {
                        inputDat.Configuration.HasHeaderRecord = false;
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・
　　　　　　　　　　　　　　　　　　　・

                        // 書き出し
                        outputDat.WriteRecord(newRow);
                    }

ただ、エラーの出る箇所（入力ファイルが大きい等）によっては、上記の変更でも改善しないでしょう。

Comments

[ShinyaKojima]

説明が不足していて申し訳ありません。
１．１つのCSVを読み込む
２．１で読み込んだデータから必要データを抽出する
３．１～２をファイル数分繰り返す
４．抽出したデータを１つのCSVへと出力する
流れで正しいです。

３．抽出したデータを１つのCSVへと追記出力する
の部分がよく分からないのですが詳しく教えていただけますでしょうか？
C#初心者でまだ知識が足りないようです。

[ShinyaKojima]

詳しい説明ありがとうございました。
データ量が多く処理に時間がかかる為
まだ何とも言えませんが参考にさせていただきます。