MVC モデルのバリデーションについて

私のコメント（サーバー側だけの検証で OK か？）に返事がないですが、それで OK と勝手に理解して回答します。

質問者さんが考えたように CustomValidationAttribute を使うのが正解だと思います。

FLG プロパティも Model 定義に含めてテキストボックスの文字列と一緒に View から POST するようにすれば、検証メソッドの引数に FLG およびテキストボックス A ～ D のユーザー入力すべてがモデルバインドされますので、そこで検証できます。

具体的には以下のような感じです。

Controller と Model

Controller と Model を一緒にしたのは単に分けるのが面倒だったから。CustomValidation 属性は各プロパティではなくクラスに設定。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Web.Mvc;
using AdventureWorksLT;
using Mvc5App.Extensions;
using System.ComponentModel.DataAnnotations;

namespace Mvc5App.Controllers
{
    [CustomValidation(typeof(SampleModel), "ValidateSampleModel")]
    public class SampleModel
    {
        public bool Flg { get; set; }
        public string A { get; set; }
        public string B { get; set; }
        public string C { get; set; }
        public string D { get; set; }

        public static ValidationResult ValidateSampleModel(SampleModel model)
        {
            if (model == null)
            {
                throw new NullReferenceException();
            }

            if (model.Flg)
            {
                // 事前に Trim した方がよさそうだが省略
                if (String.IsNullOrEmpty(model.A) || String.IsNullOrEmpty(model.B) ||
                    String.IsNullOrEmpty(model.C) || String.IsNullOrEmpty(model.D))
                {
                    return new ValidationResult("Flg = 1 and one or more of TextBox(es) A, B, C & D empty");
                }
            }
            else
            {
                if (String.IsNullOrEmpty(model.D))
                {
                    return new ValidationResult("Flg = 0 and TextBox D empty");
                }
            }

            return ValidationResult.Success;
        }
    }


    public class HomeController : Controller
    {        
        public ActionResult Create()
        {
            return View();
        }

        [HttpPost]
        public ActionResult Create(SampleModel sample)
        {
            if (!ModelState.IsValid)
            {
                return View(sample);
            }

            return RedirectToAction("Index", "Home");
        }
    }
}

View

エラーメッセージは ValidationSummary を利用して表示。

@model Mvc5App.Controllers.SampleModel

@{
    ViewBag.Title = "Create";
    Layout = "~/Views/Shared/_Layout.cshtml";
}

<h2>Create</h2>

@using (Html.BeginForm())
{
    @Html.ValidationSummary(true)

    <fieldset>
        <legend>SampleModel</legend>

        <div class="editor-label">
            @Html.LabelFor(model => model.Flg)
        </div>
        <div class="editor-field">
            @Html.EditorFor(model => model.Flg)
        </div>

        <div class="editor-label">
            @Html.LabelFor(model => model.A)
        </div>
        <div class="editor-field">
            @Html.EditorFor(model => model.A)
        </div>

        <div class="editor-label">
            @Html.LabelFor(model => model.B)
        </div>
        <div class="editor-field">
            @Html.EditorFor(model => model.B)
        </div>

        <div class="editor-label">
            @Html.LabelFor(model => model.C)
        </div>
        <div class="editor-field">
            @Html.EditorFor(model => model.C)
        </div>

        <div class="editor-label">
            @Html.LabelFor(model => model.D)
        </div>
        <div class="editor-field">
            @Html.EditorFor(model => model.D)
        </div>

        <p>
            <input type="submit" value="Create" />
        </p>
    </fieldset>
}

<div>
    @Html.ActionLink("Back to List", "Index")
</div>

@section Scripts {
    @Scripts.Render("~/bundles/jqueryval", "~/bundles/inarray")
}

条件付きの必須ということは、その条件のロジックを実装する必要があります。
つまりアノテーション１行では表現できないはずです。
従って、モデルにIValidatableObjectインターフェイスを実装してValidateメソッドで行うのが普通ではないでしょうか。

質問者様の追記を見て下記仕様と想定し、ソースコードを記載します。

• FLGのチェックボックスがONのときのみテキストボックスA、B、Cの必須チェックを行う
• チェックボックスがOFFの時はABCは非活性
• Dだけは常に必須チェックを行う

[Serializable]
public class TestModel : IValidatableObject
{
    public string Flg { get; set; }
    public string A { get; set; }
    public string B { get; set; }
    public string C { get; set; }
    [Required]
    public string D { get; set; }

    public IEnumerable<ValidationResult> Validate(ValidationContext validationContext)
    {
        if (this.Flg == "1")
        {
            if (string.IsNullOrEmpty(this.A))
            {
                yield return new ValidationResult("Aは入力が必須です。", new string[] { "A" });
            }
            if (string.IsNullOrEmpty(this.B))
            {
                yield return new ValidationResult("Bは入力が必須です。", new string[] { "B" });
            }
            if (string.IsNullOrEmpty(this.C))
            {
                yield return new ValidationResult("Cは入力が必須です。", new string[] { "C" });
            }
        }
    }
}