複数テキストファイルを高速読み取り

Question

現在ある階層にある全てのテキストファイルの中身を読み取るコードを書いています。
その階層にはテキストファイルしかなく、そのファイルパスは全て取得できているとします。

現状では、StreamReaderクラスのReadLineを用いてファイルを読み取り、それをループさせて複数ファイルを読み取っています。
ただこの方法だとどうしても速度的に遅くなってしまいます。一つ一つのファイル自体は大した容量ではありません(最大でも200KB程度)が、ファイル数が100個近くあります。

そこで、もし高速で複数のテキストファイルを読み取る方法があれば教えて頂けませんか。

Answer 1

こんにちは。

ippeiさんの回答に

SSDであれば並列化すればした分だけ早くなると思います。

とあったので、

並列

処理する方法について、
（試してないので、just an ideaで恐縮なのですが、）
以下のような方法を思いつきました。

(1)対象の約１００個のテキストファイルの名前を

001.txt, 002.txt .. 099.txt, 100.txt, ... 1XX.txt

というように番号をつける。

番号でなくても、何らかの方法で、対象の約１００個のファイルを
均等な個数のグループに分けて、そのグループに対して
以下の(2)のような起動の仕方ができればOKです。

(2)C＃で開発するファイル処理プログラムの実行ファイルを仮に

readfiles.exe

とし、以下のようなコマンドライン引数を取れるようにする。

readfiles [開始ファイル番号] [終了ファイル番号]

例）readfiles 021 030 - - - 021.txt から030.txtまでを処理する。

(3)以下のような内容のバッチファイルを作成して実行

@echo off
start readfiles 001 020
start readfiles 021 040
start readfiles 041 060
start readfiles 061 080
start readfiles 081 100
start readfiles 101 1XX

このreadfiles自体の最適化は、htsignさんご回答の方法を使うなどで
もちろん行うとして、上記のようなバッチで２０個のファイルを１個ずつ
処理していくコマンドを５個と、XX個のファイルを処理するコマンド１個
の計６個のコマンドをバックグラウンドで走らせることで高速化を図ります。
（もちろん、１０個のファイルを処理するコマンド１０＋α個並行に、でも
よいのですが）

参考になれば幸いです。

Comments

[Mitsuhiko.S]

ベストアンサーでだいぶ悩んだのですが、何分まだ僕がコマンドラインをあまり扱ったことがなかったので、今回はhtsignさんをベストアンサーにいたしました。これからykt68さんに教えていただいた方法も勉強して実装してみようと思います。ありがとうございました！

Answer 2

実装にもよるかと思いますが、System.IO.FileクラスのReadAllTextメソッドで一気に読み取る方が速かったです。

string[] files = Directory.GetFiles(Path.GetTempPath(), "*.log");
var sizes = new List<int>();
var sw = Stopwatch.StartNew();

foreach (var file in files)
{
    try
    {
        var text = File.ReadAllText(file);
        sizes.Add(text.Length);
        if (sizes.Count >= 1000) break;
    }
    catch (IOException) { }
}
Console.WriteLine(sw.ElapsedMilliseconds + "ms");
Console.WriteLine("filecounts: {0}, avg size: {1:F2}", sizes.Count, sizes.Average());

出力は

5767ms
filecount: 1000, avg size: 792024.91

でした。
続いて読み取り部分を

var text = new StringBuilder();
using (var sr = new StreamReader(file))
{
    while (!sr.EndOfStream)
    {
        text.AppendLine(sr.ReadLine());
    }
}

としたバージョンで測ってみましたが、

6571ms
filecount: 1000, avg size: 792051.48

このような感じでした。
ファイルサイズが違ってるのは…なんかミスってるんでしょうね。文字コードあたりの問題でしょうか。
ともあれReadAllTextの方が速く、これはそれぞれ10回試行しても逆転しませんでした。

ファイルサイズ200KB程度のファイルが100個未満しかないのに無視できないほどの時間がかかるのだとしたら、もしかするとStringBuilderクラスを使っていないということはありませんか？
ちなみに、ご存じかもしれませんがStreamReaderクラスにも一気に読み取るReadToEndメソッドがあります。

Comments

[Mitsuhiko.S]

仰る通りStringBuilderクラスは使用しておりませんでした。
早速使わせていただきます。
ありがとうございました！

Answer 3

200KBが100ファイルだと20MBなので格納先がHDDの場合、読み込みを並列化するとやや遅くなりそうですが、SSDであれば並列化すればした分だけ早くなると思います。

Comments

[Mitsuhiko.S]

貴重なご意見ありがとうございました。取り敢えずhtsignさんの方法で実装しますが、また時間のあるときに並列処理も実装したいと思います！