w(C#)ListデータのCSV（エクセル）への出力を高速化したい

Question

コードの一例ではあるのですがDBから引っ張ってきた顧客等のデータをCSVに書き出したいとします。
現状はforeachで一件ずつエスケープ処理、ダブルクォーテーションのエスケープ処理、カンマのエスケープ処理等を行っている為、テーブルのフィールドやカラムが大量にあるとエクセルファイルへのエクスポートがとてつもなく時間がかかってしまいます。

  var sb = new StringBuilder();

            var columnList = customList.Columns.Select(column =>
            {
                if (shouldLocalizeHeader)
                {
                    return HtmlHelpers.LocalizedDisplayName(controllerName, column.DisplayName);
                }

                return column.DisplayName;
            });

            sb.AppendLine(string.Join(",", columnList));
            
            foreach (var item in customList.List)
            {
                var propertyList = customList.Columns.Select(column => ConvertCSVOutputFormat(item.GetType().GetProperty(column.Name).GetValue(item, null)));
                sb.AppendLine(string.Join(",", propertyList));
            }
       
            Encoding enc = Encoding.GetEncoding("shift_jis");
            using (var sw = new StreamWriter(fileName, false, enc))
            {
                sw.WriteLine(sb.ToString());
            }
        }

//エスケープ処理
public static string ConvertCSVOutputFormat(object value)
        {
            string csvValue = string.Empty;

            if (value != null)
            {
                csvValue = value.ToString();

                if (csvValue.Contains("\n") || csvValue.Contains(",") || csvValue.Contains("\""))
                {
                    csvValue = csvValue.Replace(Environment.NewLine, "\n")
                                       .Replace("\"", "\"\"");

                    csvValue = string.Format("\"{0}\"", csvValue);
                }
            }

            return csvValue;
        }

このforeachで一つのフィールドずつエスケープ処理を行っている箇所をまとめて処理したりして高速でエクスポートしたいのですがどのようなアプローチをとればよいのでしょうか？
宜しくお願い致します。

Comments

[YAmaGNZ]

列数、行数と実際にかかる時間はどれくらいなのでしょうか？

Answer 1

実際に処理している部分のどこが遅いのでしょうか?
Stopwatch とかで時間を計ってみる事をお奨めします。

また、細かい話ですが、 stringクラスでの文字処理は遅いので、StringBuilderを使っていると思いますが、結構、string 処理してますね。
例えば、

sb.AppendLine(string.Join(",", propertyList));

string.Join() を使ったら、StringBuilder を使う価値が半減。
StringBuilder.Append() を使うようにした方が良いのでは?
等々、ありそうです。
ただ、まずは、どの部分が遅いのかの確認が先かと考えます。

[追記]
string.Join()は、遅くないとの指摘があったので、確認してみました。

	const int LoopCount = 100000000;
	Stopwatch sw = new Stopwatch();
	StringBuilder sb = new StringBuilder();
	string str1 = "abc";
	sw.Reset();
	sw.Start();
	for (int i = 0; i < LoopCount; i++) {
		sb.Clear();
		sb.AppendLine(string.Join(",", str1));
	}
	sw.Stop();
	Console.WriteLine("string.Join: " + sw.Elapsed);

	sw.Reset();
	sw.Start();
	for (int i = 0; i < LoopCount; i++) {
		sb.Clear();
		sb.Append(",");
		sb.AppendLine(str1);
	}
	sw.Stop();
	Console.WriteLine("StringBuilder.Append: " + sw.Elapsed);

この結果、手元の環境 (Win10)で、
string.Join(): 5.0 秒 (4.98 ～ 5.03)
StringBuilder.Append(): 1.9 秒 (1.91 ～ 1.92)
となりました。

環境、書き方の問題等はあると思いますが、参考までに。

Comments

[kiichi54321]

計測するのは重要だと思いますが、
string.joinsを使うな、間違いかな。
https://referencesource.microsoft.com/#mscorlib/system/string.cs,fa961ce440526a4d
StringBuilderを使って組み立てを行うので十分早いです。

[pepperleaf]

一つの例で出したつもりですが、運が悪かったという事?
確かに指摘のリンクによると、内部で、StringBuilderを使っているので、それほど遅くはない? ... (せいぜい、オーバーヘッド分?)
時間取れたら、確認してみたいと思います。

[pepperleaf]

string.Join()の件、計ってみました。
まあ、他の方が指摘している問題の方が大きく、こちらはゴミかも知れませんが参考情報として。

Answer 2

CSVHelperをNugetから使うのが妥当かと思います。

Nugetパッケージ使えないとかいうのであれば、理由が逆に知りたいです。

仕事で使っていて、なら尚更説得して、生産性重視でパッケージ使うべきかと思います。

CSVHelper であれば、使用しているので、質問をいただければ

少しはお役に立てるかと思います。

Answer 3

NuGetにあるライブラリを使うのも手です。CSVをNuGetで検索すると多数出てきます。
私自身は使ったことないのでこれ以上のコメントはできませんが、以下などはどうでしょうか？

C# で CSV を扱うのに CsvHelper を使う

Answer 4

ぱっとみ、遅いのは、GetProperty().GetValue のところなのかな？
あれは、もともと遅くて有名なので。
なぜリフレクションは遅いのか

こういう感じでのを作って、予め関数をつくると早くなるのではないかな？
式木あたりでググってください。

    public static class Reflection
    {
        /// <summary>
        /// (type).GetProperty().GetValue の式木版
        /// </summary>
        /// <typeparam name="T">対象の型</typeparam>
        /// <typeparam name="T1">返す型</typeparam>
        /// <param name="property_name"></param>
        /// <returns></returns>
        public static Func<T, T1> GetValueFunc<T, T1>(string property_name)
        {
            var p = Expression.Parameter(typeof(T));
            var lambda = Expression.Lambda(Expression.Property(p, property_name), p);
            return (Func<T, T1>)lambda.Compile();
        }
    }

あと、ここは、存在確認だけなので、

　　　csvValue = value.ToString();
　　　if (csvValue.Contains("\n") || csvValue.Contains(",") || csvValue.Contains("\""))
　　　{
　　　}

↓とう言う感じで書いたほうが若干早いのかな？

            var csvValue = value.ToString();
            var hash = new HashSet<char>(csvValue.ToCharArray());
            if (hash.Contains('\n') || hash.Contains(',') || hash.Contains('\"'))
            {

            }

微々たるものだと思うけど。元の書き方だと、For文が3回実行するので。一回の走査で済むようにしたい。

なお、私は、こういう拡張メソッドを作って、Tsv出力している。
Csvは、面倒なだけなので、嫌いです。
GetProperties().GetValue　なので、最速ではないのですが、それほど遅いというイメージはないのですけどねぇ・・。

        public static string ToTsv<T>(this IEnumerable<T> list)
        {
            System.Text.StringBuilder stringBuilder = new System.Text.StringBuilder();
            stringBuilder.AppendLine(string.Join("\t", typeof(T).GetProperties().Select(n => n.Name).ToArray()));

            foreach (var item in list)
            {
                stringBuilder.AppendLine(string.Join("\t", typeof(T).GetProperties().Select(n => n.GetValue(item)?.ToString())));
            }
            return stringBuilder.ToString();
        }