質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.51%

  • Java

    13786questions

    Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

大量のデータの処理を行いたい(OutOfMemoryError)

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 231

kiramekiawa1

score 2

まだ初めて3日のJava初心者です。

解析業務をしており、複数要素の結果を時刻歴で出力すしたデータが有ります。
その結果の値を使って計算したり抽出したりしようと思って、作成しました。
300MBぐらいのtxtデータだと問題なく動いたのですが、
500MBぐらいのtxtデータだと[OutOfMemoryError: Java heap space]のエラーに成ってしまいました。

内容としては下記のような形式で作成しました。(読み込みの部分だけですが)

String file1 = "sample.txt";
FileReader fr1 = new FileReader(file1);
BufferedReader br1 = new BufferedReader(fr1);
ArrayList <String> list1 = new ArrayList<String>();
String line1;
while((line1 = br1.readLine()) != null) {
list1.add(line1);
}

スペック
プロセッサ:Intel(R)Xeon(R)CPU E3-1270 V2 @ 3.50GHz
実装メモリ:8.00GB
システム:64bit
ソフト:Eclipse Java EE IDE Version: Photon Release (4.8.0)

eclipse.iniの-vmargsを変更したりしたのですが正解が良く分からず困っています。

業務上500MB以上のものを扱う場合もあるので良い方法があれば教えて頂けると幸いです。
よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+1

◇デフォルトヒープサイズ
デフォルト・ヒープ・サイズ
サーバーVMかクライアントVMかはjava --versionで分かります。
今どきならサーバーVMかと。

◇VMオプションの変更
メリット:作成済みのコードを変更しなくてもよい。

ArrayList <String> list1 = new ArrayList<String>();
String line1;
while((line1 = br1.readLine()) != null) {
    list1.add(line1);
}

他にも要因があると思いますが、
処理対象データをメモリに全部載せているのがOutOfMemoryErrorの1つの要因であるのであって。
必要なときに必要な分だけ抽出すれば、問題は発生しないかと。

以下からはコードを変更する事が前提の回答です。
案a, BufferedReader#lines()でファイル読み込み部分をストリーム化して一行ずつ処理をする。
メリットは必要なメモリが文字列1行分+α(状態変数分)
デメリットは1,途中の計算値を変数に保持する必要がある点。2,仕様変更に弱い。

案b, 計算したり抽出したりするのはデーターベース(DB)が得意な分野なので、DBに解析対象データを入れて、SQLで処理をする。(回答者が推す手法)
sqliteが導入しやすいかと。sqlite-jdbcライセンス条項


あと解析対象のファイルサイズが500MBだと検証/テストが大変なので、
指示者に確認するのが先決ですが、どうやって解析結果が正しいかの保証を行うのかを一度考えてみてくださいな。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

eclipse.iniは、Eclipseを動かすためのJava VMの設定を書くファイルだったと思います。
まずは、以下2点を試してみてはどうでしょうか。

  1. コマンドプロンプト(Windowsの場合)もしくはシェル(UNIX系の場合)から、「-Xmx 2048m」位を指定して実行してみる。
  2. Eclipse上で「プロジェクトのプロパティ→実行/デバッグ設定→'hogehoge'の起動構成→新規→VM設定」で、1.で動いた場合のヒープメモリサイズを設定する。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.51%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Java

    13786questions

    Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。