C#でのWebClientでの同時ダウンロード数を制限したい。

配列やListの要素に対して並列処理をするなら、Parallelクラスを使った方が簡単になります。ParallelOptionsで同時実行する最大数も指定できるのでセマフォを使う必要もありません。
また、asyncメソッド内で時間のかかる処理はawait Task.Runで実行してください。

こんな感じ

await Task.Run(() =>
{
    Parallel.ForEach(files, new ParallelOptions { MaxDegreeOfParallelism = 3 }, (file) =>
    {
        // この中は別スレッドで実行されるので同期で良い
        file.Download().Wait();
    });
});

以下のようなコードでどうでしょうか。

using System.Linq;

var ss = new SemaphoreSlim(3, 3);
await Task.All(files.Select(async x =>
{
    await ss.WaitAsync();
    await file.Download();
    ss.Release();
});

LINQ の Select を使用して、files のそれぞれの要素を、セマフォを待機してファイルを非同期的にダウンロードする Task に変換して、その結果を Task.All で待機します。
async を使用して、ラムダ式自体を非同期にするのがコツです。

こんにちは。

await/asyncを実際に使ったことはないので、外していたらすいません。

まず、await ss.WaitAsync();とss.Release();をコメントアウトし、かつ、ss.Relase();の位置に何かの実行文を置いた時、ダウンロードは並列に実行されますでしょうか？

forループの中でawaitを使った例を見たことがないので、このような使い方をした時のawaitの振る舞いが分かりませんが、taskが終了するまでawaitの次の文以降が実行されない筈ですから、単純にforループがブロックされそうな印象です。
forループの中身を丸っとasync関数化する必要があるのではないでしょうか？

つまり、Task File.Download()をasync関数とし、await ss.WaitAsync();とss.Release();をこの中へ移動する必要があるように思えます。
そして、非同期：awaitを含むコードをロックするには？を見ると、try/finallyで括って置かないと、Download中に例外が発生するとセマフォが開放されなくなりそうです。

一度にすべての実装をしようと考えると難しくなるので分割して考えましょう。
ちょっとやり方をかなり変えてしまいますがこんな感じでどうでしょうか？

１．10秒間固まってしまう処理をUIが応答できるように実装

-- 画面側 --

        // 非同期でDownloadメソッドを実行する
        private async void button1_Click(object sender, EventArgs e) {
            var result = await Task.Run(() => FileDownloader.Download());
        }


-- ダウンロード処理側 --
    public class FileDownloader {

        private static List<string> Download() {
            Thread.Sleep(10 * 1000);
            return null;
        }

    }

２．画面側はこれで完成なので後はダウンロード処理を実装していきます。
次の処理としては既に非同期で処理はできているので５つのファイルを順次ダウンロードするようにします。

-- ダウンロード処理側 --
    public class FileDownloader {

        public class Target {
            public Target(string url, string name) {
                this.Url = url;
                this.Name = name;
            }

            public string Url { set; get; }
            public string Name { set; get; }
        }

        public static List<string> Download() {

            var targets = new List<Target>();
            targets.Add(new Target("http://hoge/file1.aspx", "file1.txt"));
            targets.Add(new Target("http://hoge/file2.aspx", "file2.txt"));
            targets.Add(new Target("http://hoge/file3.aspx", "file3.txt"));
            targets.Add(new Target("http://hoge/file4.aspx", "file4.txt"));
            targets.Add(new Target("http://hoge/file5.aspx", "file5.txt"));

            var result = new List<string>();

            var wc = new WebClient();
            foreach (var target in targets) {
                wc.DownloadFile(target.Url, target.Name);
                result.Add(target.Name);
            }

            return result;
        }

    }

３．今度はDownloadメソッド内で全て同時にダウンロードできるようにします。

var tasks = new List<Task<string>>();

            foreach (var target in targets) {

                // 非同期でダウンロードを実行
                tasks.Add(Task.Factory.StartNew<string>(() => {
                    var wc = new WebClient();
                    wc.DownloadFile(target.Url, target.Name);
                    return target.Name;
                }));

            }

            // 上記で作成したタスク全ての完了を待つ
            Task.WaitAll(tasks.ToArray());

            // タスクの実行結果を返す
            return tasks.Select(x => x.Result).ToList();

４．最後にSemaphoreSlimを使用して同時実行数を制限します。

private static SemaphoreSlim LimitControl = new SemaphoreSlim(3, 3);

                    LimitControl.Wait();

                    try {
                        var wc = new WebClient();
                        wc.DownloadFile(target.Url, target.Name);
                    } finally {
                        LimitControl.Release();
                    }

最終的にはこんな感じでどうでしょう？

--- 画面側 ---
        // 非同期でDownloadメソッドを実行する
        private async void button1_Click(object sender, EventArgs e) {

            var targets = new List<FileDownloader.Target>();
            targets.Add(new FileDownloader.Target("http://hoge/file1.aspx", "file1.txt"));
            targets.Add(new FileDownloader.Target("http://hoge/file2.aspx", "file2.txt"));
            targets.Add(new FileDownloader.Target("http://hoge/file3.aspx", "file3.txt"));
            targets.Add(new FileDownloader.Target("http://hoge/file4.aspx", "file4.txt"));
            targets.Add(new FileDownloader.Target("http://hoge/file5.aspx", "file5.txt"));

            var result = await Task.Run(() => FileDownloader.Download(targets));
        }

--- ダウンロード側 ---
    public class FileDownloader {

        private static SemaphoreSlim LimitControl = new SemaphoreSlim(3, 3);

        public class Target {
            public Target(string url, string name) {
                this.Url = url;
                this.Name = name;
            }

            public string Url { set; get; }
            public string Name { set; get; }
        }


        public static List<string> Download(IEnumerable<Target> targets) {

            var tasks = new List<Task<string>>();

            foreach (var target in targets) {

                // 非同期でダウンロードを実行
                tasks.Add(Task.Factory.StartNew<string>(() => {

                    LimitControl.Wait();

                    try {
                        var wc = new WebClient();
                        wc.DownloadFile(target.Url, target.Name);
                    } finally {
                        LimitControl.Release();
                    }

                    return target.Name;
                }));

            }

            // 上記で作成したタスク全ての完了を待つ
            Task.WaitAll(tasks.ToArray());

            // タスクの実行結果を返す
            return tasks.Select(x => x.Result).ToList();
        }

    }