CSVファイルのフラグ漏れチェック処理方法について

Question

###前提・実現したいこと

C#で次のようなCSVファイルを読み込みます。

Number,Flag
1000,0
1000,1
1001,0
1001,1
1002,0
1002,0
1002,1
1003,0
1003,1
1003,1
1004,0
1005,0
1005,1
・・・

次の条件であるかどうか、のチェックをする必要があります。
・Numberが同じもので、0と1が両方ふくまれているかどうか

例ですと、Numberが1000のものでFlagが0と1の行があるのでOK、
Numberが1004はFlagが0の行しかないのでNG、
Number1002のように、Flag0が複数行ある場合もありますが、
その場合でもFlagに0と1があればOKです。
（上記の例でいけば1004だけがNGです）
Flagには0と1以外のデータは入ってきません。

CSVはCSVHelper(https://joshclose.github.io/CsvHelper/)を使って
読み込もうと考えています。
.NET Frameworkは最新のものが使える環境です。

上記のチェックを行いたいのですが、どのような処理で行っていくのがよいかが
思いつかず、よい方法がありましたらご教授願います。

（追記）
NumberはCSVの状態では必ず昇順・降順に並んでいるという保証は無く、
一部順番がばらばらであったりする場合もあります。
データベースは使わずプログラム内のみで完結させたいと考えています。

どのような処理方法を採用すればよいのか、と考え方に悩んでいます。

Comments

[katsuya141]

DBを使いますか、配列のみで処理しますか？

[katsuya141]

Noは昇順または降順に並んでいますかランダムですか

[ardin]

悩んでいるプログラミング部分がありますか？単純に考え方に悩んでいますか？

[cinnamon]

ありがとうございます。追記しましたが、考え方に悩んでおります。

[tamoto]

この質問からは「条件をチェックしたい」のはわかっても、チェックした結果「どうしたいのか」がよくわかりません。例えば「条件を満たさないものがあったらエラーで停止させる」「条件を満たさないものを全部列挙する」「条件を満たさないものは無視して、満たすものだけを配列にする」など、いろんなやり方が考えられます。

[cinnamon]

失礼しました。チェックした結果どうしたいかの記載が不足していました。チェックした結果、条件を満たさないものをすべて列挙して最終的にはログとして出力します。本来0と1が両方含まれているはずが、なんらかの原因で抜けていないか、のチェックを行い、抜けがあったNumberについて確認が必要になります。そのため、条件を満たさないものはすべて列挙する必要があります。

[cinnamon]

ご回答いただいた皆様、ありがとうございます。いろいろな方法をご提示いただき、試してみたいと思います。試してみた結果も改めてご報告したいと思います。

[cinnamon]

皆様ありがとうございました。意図したとおりのデータがチェックできました。今回ご提示いただいた方法でいろいろな方法があり勉強になりました。Dictionaryを使った方法は処理が早く、私の環境でLINQの1/7の処理速度でした。LINQの方は処理が簡潔でわかりやすいことと、処理速度が遅いとはいえ体感できるレベルのものでは無かったので、LINQを使った方法を利用したいと思います。

Answer 1

主要部をメソッドチェーンで書いてみました。

var answer = 
	fileText // ファイルの中身 string
	.Split(new[] { "\r\n" }, StringSplitOptions.RemoveEmptyEntries) // 改行文字"\r\n"で行に分離
	.Skip(1) // ヘッダ("Number,Flag ")を捨てる
	.Select(l => l.Trim()) // 行両端のスペースを除く
	.Select(l => // 行を Number と Flag 分離
	{
	    var fields = l.Split(new[] { ',' });
	    return new { Number = fields.First(), Flag = fields.Last() };
	})
	.GroupBy(l => l.Number) // Number でグルーピング
	.OrderBy(g => g.Key) // Number で並べ替え
	.Select(g => new { Number = g.Key, OK = g.Max(l => l.Flag) != g.Min(l => l.Flag) }) // Number + bool にする
	.Select(a => $"Number:{a.Number}\tOK?:{a.OK}") // 表現形(string)へ変更
	.Aggregate((a, b) => a + "\r\n" + b); // 表現形を統合

Comments

[cinnamon]

ありがとうございます。LINQは簡潔に記載ができるのでよいですね。

Answer 2

Csvだし基本的には逐次処理。
ただし複数行の判定が必要のため、一旦全て読み取ってから結果の判定をしましょう。
Dictionaryを使っても良いし、それが気持ち悪いなら最後に整形してもいいです。

class Flags
{
    // フラグは別にenumのフラグ合成でもなんでもいいけど…数字のゼロがフラグ合成しにくいから
    public bool Zero { get; set; }
    public bool One { get; set; }
    public bool IsValid { get { return Zero && One; } }
    public void SetFlag(int flag)
    {
        if (flag == 0) Zero = true;
        else if (flag == 1) One = true;
    }
}

class Csv
{
    public int Number { get; set; }
    public int Flag { get; set; }
}

IDictionary<int, Flags> Import()
{
    // ... 後を考えればキーでソート済みにしたい
    var dictionary = new SortedDictionary<int, Flags>();

    foreach (Csv csv ... /* CsvHelperから取得 */)
    {
        Flags flags;
        if (!dictionary.TryGetValue(csv.Number, out flags))
        {
            flags = new Flags();
            dictionary.Add(csv.Number, flags);
        }
        flags.SetFlag(csv.Flag);
    }

    return dictionary;
}

void Check(IDictionary<int, Flags> results)
{
    foreach (var result in results)
    {
        Console.WriteLine($"Number: {result.Key} IsValid: {result.Value.IsValid}");
    }
}

Comments

[cinnamon]

ありがとうございます。dictionaryでの方法も試してみます。

Answer 3

補足がついたので回答してみます。
「条件を満たしていない (== Flagが片方しか存在しない) Numberを全てリストアップ」をそのままコードにしてみました。

var result = source             // sourceは new { Number = 1001, Flag = 0 } みたいなのを想定
    .Distinct()                 // NumberとFlagが同じものを除去して、
    .GroupBy(x => x.Number)     // Numberが同じものでグルーピングして、
    .Where(x => x.Count() == 1) // Countが1 (== Flagが片方しか無い) のものでフィルタして、
    .Select(x => x.Key);        // Key (== Number) を選択

/*/

// 質問のコードにあるデータの場合は
result = [ 1004 ];

/*/

Comments

[cinnamon]

ありがとうございます。こちらの方法でも試してみます。

[cinnamon]

意図したとおりの処理ができ、コードも簡潔になりました。ありがとうございました。

Answer 4

例えば、

1. 完全に重複した要素を排除する。
2. Flag = 0/1でNumberをグルーピングする。
3. Flag0グループとFlag1グループの積集合をとる。
4. その結果がOKなNumberの集合。

やっつけで作った:

using System;
using System.Linq;

public class Test
{
    public static void Main()
    {
        var source = new[]{
            new Element{Number = 1000,Flag = 0},
            new Element{Number = 1000,Flag = 1},
            new Element{Number = 1001,Flag = 0},
            new Element{Number = 1001,Flag = 1},
            new Element{Number = 1002,Flag = 0},
            new Element{Number = 1002,Flag = 0},
            new Element{Number = 1002,Flag = 1},
            new Element{Number = 1003,Flag = 0},
            new Element{Number = 1003,Flag = 1},
            new Element{Number = 1003,Flag = 1},
            new Element{Number = 1004,Flag = 0},
            new Element{Number = 1005,Flag = 0},
            new Element{Number = 1005,Flag = 1},
            new Element{Number = 1006,Flag = 0},
        };

        var group = source.Distinct().GroupBy(e => e.Flag, e => e.Number);
        var ones = group.Where(g => g.Key == 1).SelectMany(x => x);
        var zeros = group.Where(g => g.Key == 0).SelectMany(x => x);
        var whole = group.SelectMany(x => x);
        
        var ok = ones.Intersect(zeros);
        var ng = whole.Except(ok);
        
        
        Console.WriteLine("==========ok===========");
        foreach (var x in ok)
            Console.WriteLine(x);
        
        Console.WriteLine("==========ng===========");
            
        foreach (var x in ng)
            Console.WriteLine(x);

    }
}

public struct Element
{
    public int Number;
    public int Flag;
}

例えば、
0. Numberでグルーピングする。
0. 各グループが0と1の両方を含むかいい感じにフィルタ
0. 結果のKey(=Number)を抽出

Comments

[cinnamon]

ありがとうございます。LINQを使った方法ですね。一度試してみます。

Answer 5

マップ(Dictionary)を利用するのが一般的です。

以下疑似コードです。

// マップ(Dictionary)を利用
// キー = Number, 値 = Flagの出現状態。 0 or 1 or 2=0と1の両方を含む

// CSV行の走査
	// 行から入力のNumberとFlagを取得

	// マップから入力Numberをキーとして要素を検索
	// 存在しない
		// マップにキー=入力Number, 値=入力Flag値として要素を追加
	// 存在する
		// マップの値=2
			// すでに両方含まれるので何もしない。
		// マップの値=0 or 1
			// 入力のFlag値と同じ
				// 何もしない。
			// 入力のFlag値と異なる
				// 要素のFlag値に2をセットしてマップに再登録

// マップの走査
	// マップのFlag値=2 →OK
	// それ以外         →NG

Comments

[cinnamon]

ありがとうございます。考え方もわかりやすくすっきりできそうです。一度試したいと思います。