取込むCSVのフォーマットチェック

Question

■やりたいこと

別システムから出力されるCSVファイルを取込む機能を作っています。

CSVの取込み自体は問題なく出来ているのですが、例外処理として別フォーマットのCSVファイルや、別の種類のファイルを取込もうとしたとき（固定長データや、項目数は同じだが数値のみの位置に文字列のデータが入っている等）にエラーメッセージが出るようにしたいです。

処理の流れとしては、
①「参照ボタン」をクリック
②取込むファイルを選択する画面が表示される（OpenFileDialog使用）
③「インポートボタン」をクリックする
④②で選択したCSVファイルの中身をListに格納し、DataGridViewに表示。
という風になっています。

この流れの③④の間でファイルのチェックを入れたいのですが、どの方法でチェックするか悩んでいます。

■調べたこと

CSVと同じ形式(データ型や項目数が合うように)のクラスを用意して、CsvHelperを使用してMappingすれば
ある程度はデータ型や項目数が合わなかった際にエラーにできるようなのですが、
今回他のシステムから出力されるCSVファイルには135項目あり、そのうち私の作っているシステムで使用するのは5項目のみです。

取込んでも130項目は無駄になってしまう為、出来れば必要部分のみListへ入れる方向で考えていました。

他に取り込みファイルのフォーマットをチェックする方法はありますか？
または、使わないデータでも全て取込んでチェックした方がよいのでしょうか。
よろしくお願いいたします。

Comments

[papinianus]

4の部分を開示できないのですか？4の最初でヘッダ行からカラムを特定するときに必然的にデータがとれるかとれないか判明するとも思ったので。

[dev3310]

今回のCSVデータにヘッダ行はなく、何番目の劣化だけでデータを特定しています。

[papinianus]

それではデータのどこに着目してフォーマットチェックする設計なのでしょうか？コード的な助言ならともかく、データのどこを見るかは質問者様以外には分かりようがないです。

サンプルデータでもあればまた別ですけど。

Answer 1

CSVファイルには135項目あり、そのうち私の作っているシステムで使用するのは5項目のみです。

その5項目+指標になる項目だけMappingすればいいだけでは？
部分的なマッピングもCsvHelperならできたはずですよ。

Answer 2

何をしたいのかよくわかっていませんが・・・

135 列ある CSV ファイルの中から特定の 5 列のデータのみ取得したい。その際、各列の型を判定してそれを C# のオブジェクトに反映したいということですか？

であれば、JET または ACE プロバイダ + ADO.NET を使って、型は schema.ini というファイルを作って指定するという方向で考えるというのはいかがですか？

【追記】

検証してみましたが、JET または ACE プロバイダ + ADO.NET で特定の列を取得するのは SELECT クエリで取得したい列を指定すれば可能でしたが、schema.ini ファイルに指定される型と CSV データが違ってもエラーは出ませんでした。

なので、質問者さんの目的、

エラーメッセージが出るようにしたいです。

には上記の案ではダメでした。すみません。

以下、お役には立たないと思いますが、ご参考までにどのように検証したかを書いておきます。

まず、CSV ファイルですが、Microsoft のサンプルデータベース Northwind の Products テーブルから SSMS を使ってエクスポートしたものを使います。

Schema.ini は以下の通り。

[Products.csv]
ColNameHeader=True
Format=CSVDelimited
CharacterSet=65001
Col1=ProductID Long
Col2=ProductName Text
Col3=SupplierID Long
Col4=CategoryID Long
Col5=QuantityPerUnit Text
Col6=UnitPrice Currency
Col7=UnitsInStock Short
Col8=UnitsOnOrder Short
Col9=ReorderLevel Short
Col10=Discontinued Bit

Windows Forms アプリのコードは以下の通り。

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Data.OleDb;

namespace WindowsFormsApplication1
{
    public partial class Form12 : Form
    {
        private DataGridView dataGridView1;
        private BindingSource bindingSource1;
        private string path = @"C:\Users...\WindowsFormsApplication1\";
        private string filename = "Products.csv";

        public Form12()
        {
            InitializeComponent();

            this.dataGridView1 = new DataGridView();
            this.dataGridView1.Dock = System.Windows.Forms.DockStyle.Fill;
            this.bindingSource1 = new BindingSource();
            this.dataGridView1.DataSource = this.bindingSource1;
            this.Controls.Add(this.dataGridView1);
        }

        private void Form12_Load(object sender, EventArgs e)
        {
            // 接続文字列。HDR=Yes で一行目をヘッダーとして扱う
            string conString =
              "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" +
              this.path +
              ";Extended Properties=\"text;HDR=Yes;FMT=Delimited\"";

            OleDbConnection con = new OleDbConnection(conString);
            string commText = "SELECT [ProductID],[ProductName],[UnitPrice],[Discontinued] FROM [" + this.filename + "]";
            OleDbDataAdapter da = new OleDbDataAdapter(commText, con);

            DataTable dt = new DataTable();
            da.Fill(dt);

            this.bindingSource1.DataSource = dt;
        }
    }
}

結果は以下のようになります。

Schema.ini の型指定を例えば Text を Long にするなど変換できない様に変えれば何らかのエラーが出ると思っていたのですが、出ませんでした。（ただし、DataGridView への表示結果は期待したものにはなりませんが）

【注】ただし C# のオブジェクトとして取得した結果の型は schema.ini で指定した通りになります。上のコード例では DataTable に CSV データを取得していますが、DataTable の型は DataGridView の左から順に int, string, decimal, bool になります。そこはこのコードのメリットと言えるのではないでしょうか。

【追記２】

下の 2019/06/27 12:03 の私のコメントで

　hihijiji さんの案 CsvHelper を NuGet でインストールして使うのが正解のようです。CSV ファイルの特定の列だけ取得できますし、指定した型に変換できないと例外をスローしてくれます。後で例を回答欄に追記しておきます。

と書きましたが、上の【追記】と同じ CSV ファイルの同じ列を CsvHelper で取得し、同じ Form の同じ DataGridView に表示した例を以下に書いておきます。

ただし、質問者さんの扱う CSV ファイルにはヘッダがないそうですが、下の例ではヘッダありにしています。ヘッダなしでも対応できるかどうかまでは調べてません。

コードは以下の通りです。上のコードに Product, ProductMapper クラスを追加し、Form12_Load ハンドラでは先の ADO.NET のコードをコメントアウトして CsvHelper のコードを追記しただけです。

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Data.OleDb;
using CsvHelper;
using CsvHelper.Configuration;
using System.IO;

namespace WindowsFormsApplication1
{
    public partial class Form12 : Form
    {
        private DataGridView dataGridView1;
        private BindingSource bindingSource1;
        private string path = @"C:\Users\surfe...\WindowsFormsApplication1\";
        private string filename = "Products.csv";

        public Form12()
        {
            InitializeComponent();

            this.dataGridView1 = new DataGridView();
            this.dataGridView1.Dock = System.Windows.Forms.DockStyle.Fill;
            this.bindingSource1 = new BindingSource();
            this.dataGridView1.DataSource = this.bindingSource1;
            this.Controls.Add(this.dataGridView1);
        }

        private void Form12_Load(object sender, EventArgs e)
        {
            // 接続文字列。HDR=Yes で一行目をヘッダーとして扱う
            //string conString =
            //  "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" +
            //  this.path +
            //  ";Extended Properties=\"text;HDR=Yes;FMT=Delimited\"";

            //OleDbConnection con = new OleDbConnection(conString);
            //string commText = "SELECT [ProductID],[ProductName],[UnitPrice],[Discontinued] FROM [" + this.filename + "]";
            //OleDbDataAdapter da = new OleDbDataAdapter(commText, con);

            //DataTable dt = new DataTable();
            //da.Fill(dt);

            //this.bindingSource1.DataSource = dt;

            using (var csv = new CsvReader(new StreamReader(this.path + this.filename)))
            {
                var config = csv.Configuration;
                config.HasHeaderRecord = true; // ヘッダーが存在する場合 true
                config.RegisterClassMap<ProductMapper>();
                var list = csv.GetRecords<Product>();
                this.bindingSource1.DataSource = list;
            }
        }
    }

    public class Product
    {
        public int ProductID { get; set; }
        public string ProductName { set; get; }
        public decimal UnitPrice { set; get; }
        public bool Discontinued { set; get; }
    }

    public class ProductMapper : ClassMap<Product>
    {
        private ProductMapper()
        {
            Map(c => c.ProductID).Index(0);
            Map(c => c.ProductName).Index(1);
            Map(c => c.UnitPrice).Index(5);
            Map(c => c.Discontinued).Index(9);
        }
    }
}

結果は上の画像と同じです。

クラス Product で指定した型に変換できないと例外がスローされます。例えば int 型でなければならない ProductID を CSV ファイルで "xxxxx" にすると以下の例外がスローされます。

Comments

[dev3310]

検証までしていただき、ありがとうございます。
結果としてはエラーにすることは出来ないとのことですが、後ほどじっくり読んで、自分の環境でも再現し、勉強したいと思います。
まずは取り急ぎお礼を失礼します。

[退会済みユーザー]

hihijiji さんの案 CsvHelper を NuGet でインストールして使うのが正解のようです。CSV ファイルの特定の列だけ取得できますし、指定した型に変換できないと例外をスローしてくれます。後で例を回答欄に追記しておきます。

[退会済みユーザー]

考え直しましたが、CsvHelper を使うより Microsoft.VisualBasic.FileIO 名前空間の TextFieldParser を使う方が良さそうだと思いました。

行の全列を文字列の配列として取得してきて、必要な列のみパースしてから List<T> か DataTable のオブジェクトに代入して行けば望むことができます。

その方が、サードパーティ製のライブラリを使わなくて済むというメリットがありますし、パースするコードを自分で書く分例外の検出などに自由度が高そうです。

[dev3310]

参考用のコードまで載せていただきありがとうございます。
TextFieldParserを使用し、途中取込データをチェックするロジックを自分で書きたして、必要な列のみListに入れる方法で解決することが出来ました。

Answer 3

質問の本質がよくわかりませんが、マッピングクラスで Ignore を使うのはどうでしょうか？

追記

質問を読み誤っていたようです。
次のコードの DecodeCsv を使えば CSV を IEnumerable<IEnumerable<string>> に変換できます。これでLINQ を使用して特定のフィールドを読み飛ばし、使用するフィールドを変換するという手もあります。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text.RegularExpressions;

namespace Zuishin
{
	/// <summary>
	/// CSV を解析または CSV に変換する
	/// </summary>
	public static class Csv
	{
		/// <summary>
		/// CSV を解析する
		/// </summary>
		/// <param name="source">CSV の各行を保持する文字列の集合</param>
		/// <returns>解析結果</returns>
		public static IEnumerable<IEnumerable<string>> DecodeCsv(this IEnumerable<string> source)
		{
			const string contentName = "content";
			Regex quoted = new Regex($"^\"(?<{contentName}>([^\"]|\"\")*)\"(,|$)");
			Regex normal = new Regex($"^(?<{contentName}>[^,]*)(,|$)");
			var enumerator = source.GetEnumerator();
			while (enumerator.MoveNext())
			{
				var record = new List<string>();
				string line = enumerator.Current;
				while (!string.IsNullOrEmpty(line))
				{
					Match match;
					if (line[0] == '"')
					{
						do
						{
							match = quoted.Match(line);
							if (match.Success)
							{
								var content = match.Groups[contentName];
								record.Add(content.Value.Replace("\"\"", "\""));
								line = line.Substring(match.Length);
								break;
							}
							if (!enumerator.MoveNext())
							{
								record.Add(line);
								line = "";
								break;
							}
							line += "\n" + enumerator.Current;
						} while (true);
					}
					else
					{
						match = normal.Match(line);
						record.Add(match.Groups[contentName].Value);
						line = line.Substring(match.Length);
					}
				}
				yield return record;
			}
		}

		/// <summary>
		/// CSV を作る
		/// </summary>
		/// <param name="source">元となる集合</param>
		/// <param name="alwaysQuote">true ならば各フィールドをダブルクォーテーションで囲む</param>
		/// <returns>CSV</returns>
		public static IEnumerable<string> EncodeCsv(this IEnumerable<IEnumerable<string>> source, bool alwaysQuote = false)
		{
			var regex = new Regex("^\"|[,\n]");
			string quote(string s)
			{
				return $"\"{s.Replace("\"", "\"\"")}\"";
			}
			string quoteIfNeeded(string s)
			{
				if (regex.IsMatch(s)) return quote(s);
				return s;
			}
			var translate = alwaysQuote ? (Func<string, string>)(a => quote(a)) : a => quoteIfNeeded(a);
			foreach (var record in source)
			{
				yield return string.Join(",", record.Select(translate));
			}
		}
	}
}

Answer 4

他に取り込みファイルのフォーマットをチェックする方法はありますか？

どんな方法を取るにせよ、スキーマの定義をやってやらないとチェックする術がないと思うので、135項目の定義は作る必要はあろうかと思います。

あとはどの程度厳密にチェックするのか、という話なので、例えば文字列項目なら桁数までチェックするのは厳密でいいんですが、そこまでの厳密さが必要が無く、intやDateTimeとして扱える型なのかがわかればいい、という程度なら、ツールでも作ってTryParseして成功したらその型だ、と決め打ってしまい、定義を生成するとか…なんかイマイチな気はしますが、そういう方法はありそうですが。

または、使わないデータでも全て取込んでチェックした方がよいのでしょうか。

それは他人には決められません。