c# zip圧縮マルチスレッド

前提・実現したいこと

c#で大量のファイルが入ったフォルダをマルチスレッドで高速で1つのzipに圧縮したい。

###環境
c#7.1 .net4.7 VS2017

###質問内容
一つのzipファイルに並列処理で複数のファイルを圧縮することはそもそも可能でしょうか？

###質問内容追加(20180716 12:47)
・zipファイル内にディレクトリができない
・並列で一つのzipファイルにアクセスする為例外発生

###画像

###C#

C#
1private void button2_Click(object sender, EventArgs e)
2{
3  //FolderBrowserDialogクラスのインスタンスを作成
4     FolderBrowserDialog fbd = new FolderBrowserDialog();
5  //上部に表示する説明テキストを指定する
6     fbd.Description = "フォルダを指定してください。";
7  //ルートフォルダを指定する
8  //デフォルトでDesktop
9     fbd.RootFolder = Environment.SpecialFolder.Desktop;
10  //最初に選択するフォルダを指定する
11  //RootFolder以下にあるフォルダである必要がある
12     fbd.SelectedPath = @"C:\Windows";
13  //ユーザーが新しいフォルダを作成できるようにする
14  //デフォルトでTrue
15     fbd.ShowNewFolderButton = true;
16  //ダイアログを表示する
17     if (fbd.ShowDialog(this) == DialogResult.OK)
18       {
19          //選択されたフォルダを表示する
20            Console.WriteLine(fbd.SelectedPath);
21            textBox1.Text = fbd.SelectedPath;
22       }
23  //ListBoxに一覧を表示する
24      listBox1.Items.Clear();
25      var directries = Directory.GetDirectories(fbd.SelectedPath);
26      foreach (var directry in directries)
27        {
28           Console.WriteLine(directry);
29           listBox1.Items.Add(directry);
30        }
31}
32
33private void button1_Click(object sender, EventArgs e)
34{
35  //デスクトップ
36    string zipFilePath = $@"{System.Environment.GetFolderPath(Environment.SpecialFolder.DesktopDirectory)}\test.zip";
37  //ZIP書庫を作成
38    ZipFile.CreateFromDirectory(listBox1.Items[0].ToString(), zipFilePath);
39  //ディレクトリ分タスクを生成する
40    List<Task<bool>> task = new List<Task<bool>>();
41  //読み取りと書き込みができるようにして、ZIP書庫を開く
42    using (ZipArchive ziparchive = ZipFile.Open(zipFilePath, ZipArchiveMode.Update))
43     {
44       foreach (var directry in listBox1.Items)
45        {
46           task.Add(Task<bool>.Run(() =>
47            {
48              string[] fileList = Directory.GetFiles(directry.ToString(), "*", SearchOption.AllDirectories);
49              foreach (var file in fileList)
50               {
51                 Console.WriteLine(file);
52                 ZipArchiveEntry x = ziparchive.CreateEntryFromFile(file, System.IO.Path.GetFileName(file));
53               }
54               return true;
55             }));
56         }
57         Task.WhenAll(task);
58      }
59}

行動規範の内容に同意します

回答5件

直接の回答ではなくてすみません。

質問者さんは、たぶん、以下の記事の「マルチスレッドの動作原理」セクションにある図の ③ をイメージされているのではないかと思います。

第1回　マルチスレッドはこんなときに使う (1/2)
http://www.atmarkit.co.jp/ait/articles/0503/12/news025.html

しかし、シングルコアのマシンでは ② のようになり、スレッドを切り替えるためのオーバーヘッドが発生して逆に遅くなるということは認識されてますか？　そのあたりは初学者の人が陥りやすい誤解のようです。

マルチコアの能力を生かした高速処理（図の ③）を行うにはそのためのコーディングが必要です。

VS 2010、.NET 4 で導入された Parallelクラスを使うという手段があるそうで（下記の記事参照）、それ以前と比較して実装が容易になっているそうです。

Visual Studio 2010 の優れた機能（３）マルチコアプログラミングへの対応
https://blogs.msdn.microsoft.com/myamada/2010/03/02/visual-studio-2010-1/

ループをParallelクラスで並列処理にするには？［C#／VB］
http://www.atmarkit.co.jp/ait/articles/1706/21/news021.html

上記が質問者の課題を解決できるかは分かりませんが、自力で課題を解決したいということであれば検討されてはいかがでしょう。

投稿2018/07/15 05:36

退会済みユーザー

総合スコア0

ベストアンサー

出力先が一つのファイルで、

並列処理で複数のファイル

ファイル毎に、圧縮処理を行い、一つのファイルにまとめるという事でしょうか?
それならば、ファイル毎に Zip(圧縮)処理を行い、その結果をマージする事になります。ただし、効率よく行うためには、専用の圧縮処理、解凍処理が必要となりますが、ここまでくると Zipと言うより、専用処理を検討すべきかと思います。

確か、Lhaの開発者だったかの人が、リアルタイム圧縮を開発していたかと思いますが、同様にすべき。

投稿2018/07/14 12:16

pepperleaf

総合スコア6385

maple123

2018/07/14 21:40

やはりzipは難しいでしょうか…

pepperleaf

2018/07/14 23:52

Zip圧縮は、ライブラリも公開されているので、それを使えば、簡単にできると思います。(使った事ないですが...) ただ、わざわざマルチスレッドで、と書かれているので、特別な理由があると思った次第です。マルチスレッドにするという事は、それぞれの処理に依存関係があると高速化できないので、ファイル毎に圧縮する事になります。 Zip圧縮 --> アーカイブ処理の流れになり、そんな都合の良い方法と思った時、Zip圧縮と書かれていたので、専用処理(ファイル形式)の作成が必要かもと考え、そこまでするなら、Zipに拘る必要が無いのでは? と思った次第。現状、Zipは、特定のコードに対し、最速でもコンパクトでも無いので、わざわざマルチスレッド(タスク?)にして高速化を図りたい要望に対しては、専用の方法が最適と考えました。

行動規範の内容に同意します