行数の多いデータについて

Question

try {
String file1 = "sample.txt";
FileReader fr1 = new FileReader(file1);
BufferedReader br1 = new BufferedReader(fr1);

ArrayList <String> list1 = new ArrayList<String>();
String line1;
String str = "※※※※※※※※※";

while(! str.equals((line1 = br1.readLine()).substring(5,20))) {}

while((line1 = br1.readLine()) != null) {
list1.add(line1);
}

importは飛ばしています。

Java初心者です。
容量の大きいtxtデータを抽出・計算しなければいけないのですがOutOfMemoryErrorが出てしまいます。
読み込むデータは"※※※※※※※※※"という文字が出てくるまでの数50万行は必要のないデータなので格納せずに"※※※※※※※※※"を含むそれ以降のデータを格納したいのですが、上記の内容だと"※※※※※※※※※"の行も飛ばしてしまいます。

どのように処理すればよいでしょうか？

よろしくお願いします。

※ArrayListを使っているのは、この後に読み込んだデータから必要なデータを抽出・計算するためです。
※-Xms,-Xmxの変更は試しています。

Comments

[umyu]

前の質問だと、500MB単位なのに 100万行ということは3GBを超えるファイルサイズだと思いますが。。 データが正しくできているのかをまず確認されたほうが良いのでは。。 1,000,000(行)*16(substring(15)+改行)*2(バイト)

[kiramekiawa1]

回答ありがとうございます。昨日解析を行った際、約1.6GBのテキストデータができて読み込めなかったので、質問しました。100万行というのはたとえの話です。言葉足らずですみません。

Answer 1

while(str.equals((line1 = br1.readLine()).substring(5,20))) {

if (!(str.equals(line1.substring(5,20)))){
br1.readLine();
}
}

どういう意図のコードかわかりませんが、str と同じならループするとなってますね
strと同じならループらか抜け出す、んじゃないんでしょうか。

Comments

[kiramekiawa1]

確認したらおかしかったです。

[y_waiwai]

んで、中のif文、readlineの行も不要ですね。
while文のナカミは空でいいです

while(! str.equals((line1 = br1.readLine()).substring(5,20))) {}
で,
ここんとこ、動作を確認しておいてください

[kiramekiawa1]

空でよかったんですね。ありがとうございます。

Answer 2

Stream APIを使うのはいかがでしょう。

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.stream.Collectors;
import java.util.List;

class Main {
    public static void main(String[] args) throws IOException {
        String filename = "data.dat";
        
        List<String> data = Files.lines(Paths.get(filename))
            .dropWhile(line -> !"※※※※※※※※※".equals(line))
            .collect(Collectors.toList())
        ;
        System.out.println(data);
    }
}

実行結果 Wandbox

[※※※※※※※※※, these, lines, are, important]

今後の処理に依っては、リスト化を避けられ効率もさらに良くなります。
『必要なデータを抽出』するのも、Stream#filterを使えば楽チンです。

銀の弾丸では無いですが、知っておいて損はないです。

Answer 3

while(! str.equals((line1 = br1.readLine()).substring(5,20))) {}
list1.add(line1);
while((line1 = br1.readLine()) != null) {
list1.add(line1);
}