CSVファイルのデータ集計

Question

###前提・実現したいこと
javaでCSVファイルのデータを読み込み、カテゴリ別に価格の総合を計算し、その結果を画面に出力し、CSVファイルで保存したいです。

CSVファイルの読み込み内容
カテゴリー,商品,価格
食品,水,90
日用品,タオル,500
食品,弁当,500
日用品,ブラシ,600
家電品,冷蔵庫,60000
食品,バナナ,200
家電品,アイロン,7000
日用品,シャンプー,700

出力画面表示結果
カテゴリー,総合
食品:790
日用品:1800
家電品:67000

###発生している問題・エラーメッセージ

エラーメッセージ

###該当のソースコード

ここにご自身が実行したソースコードを書いてください
package java_practice;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.StringTokenizer;

public class CSV {

    public static void main(String args[]) {

        try {
            //ファイルを読み込む
            FileReader fr = new FileReader("c:\Users\data.csv");
            BufferedReader br = new BufferedReader(fr);

            //読み込んだファイルを１行ずつ処理する
            String line;
            StringTokenizer token;
            while ((line = br.readLine()) != null) {
                //区切り文字","で分割する
                token = new StringTokenizer(line, ",");

                //分割した文字を画面出力する
                while (token.hasMoreTokens()) {
                    System.out.println(token.nextToken());
                }
                System.out.println("**********");
            }

            //終了処理
            br.close();

        } catch (IOException ex) {
            //例外発生時処理
            ex.printStackTrace();
        }
    }

}


###試したこと
課題に対してアプローチしたことを記載してください
CSVファイルのデータを読み込むところまでできました。それ以下のコードの表し方に苦戦しています。


###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報

Answer 1

#hashmapにぶち込めばいいんじゃないかな?

HashMap<String,Integer> map=new HashMap<>();
while (token.hasMoreTokens()) {
  String cate=token.nextToken(); token.nextToken();
 Integer val=Integer.valueOf(token.nextToken());
 map.merge(cate,val,Integer::sum);//使えないなら普通に足すこと
}

問題点
想定している出力順と違う可能性がある
→LinkedHashMap使おう
#気になる点
例外発生時にbrが閉じられない

• finally使う
• try with resources使う

StringTokenizerはレガシークラス(新規での使用は勧められない)
String#split(String)使う
java.util.regix使う

#上２つを直したやつ

try(BufferedReader br=new BufferedReader(new FileReader("c:\Users\data.csv"))){
  String[] header=br.readLine().split(",");//一行目見出し
  String line;
  while((line=br.readLine())!=null){
    HashMap<String,Integer> map=new HashMap<>();
    String[] token=line.split(",");
    String cate=token[0];
    Integer val=Integer.valueOf(token[2]);
    map.merge(cate,val,Integer::sum);
  }
  System.out.println(header[0]+",総合");
  map.forEach((k,v)->System.out.println(k+":"+v));
}catch(IOException ex){
  ex.printStackTrace();
}

問題点
想定していた出力順を得られない→解決策は同じ

#一言
問題点は明確でない仕様のせいであるかないかわからなくなってます。
Java8な感じでも書こうと思ったけどヘッダー行のせいでメンドーなことに。

Comments

[swordone]

StringTokenizerはレガシークラスで、新規に使う際はString#splitを使うようドキュメントで指示されています。

[tignear]

回答を編集しました。
ご指摘ありがとうございます。

Answer 2

集約結果を出力するcsvファイル名が質問文では指定されていなかったので、grouped.csvという名前にしておきました。
集約結果を表示とwriteメソッドはStream APIを使った形に改良できそうな気がしますが・・・

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.IOException;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Map;
import java.util.Map.Entry;
import java.util.stream.Collectors;

public class Q109103 {

	public static void main(String[] args) {
		File data_file = new File("c:\Users\data.csv");
		File grouped_file = new File("c:\Users\grouped.csv");
		try {
			Map<String, Long> grouped = readAndgrouped(data_file);
			// 集約結果を表示
			grouped.forEach((k, v) -> System.out.println(k + ":" + String.valueOf(v)));
			// ファイルに出力
			write(grouped_file, grouped);
		} catch (IOException ex) {
			ex.printStackTrace();
		}
	}

	public static Map<String, Long> readAndgrouped(File data_file) throws IOException {
		try (BufferedReader br = Files.newBufferedReader(Paths.get(data_file.toURI()))) {
			Map<String, Long> grouped = br.lines().skip(1).map((String line) -> {
				String[] arr = line.split(",");
				return new CsvData(arr[0], arr[1], Long.parseLong(arr[2]));
			}).collect(Collectors.groupingBy(x -> x.category, Collectors.summingLong(x -> x.price)));
			return grouped;
		}
	}

	public static void write(File grouped_file, Map<String, Long> grouped) throws IOException {
		Charset encoding = Charset.forName("Windows-31j");
		try (BufferedWriter bw = Files.newBufferedWriter(Paths.get(grouped_file.toURI()), encoding)) {
			// ヘッダー行
			bw.write("カテゴリー,総合");
			bw.newLine();
			// データ行
			for (Entry<String, Long> entry : grouped.entrySet()) {
				bw.write(entry.getKey());
				bw.write(":");
				bw.write(String.valueOf(entry.getValue()));
				bw.newLine();
			}
		}
	}
}

class CsvData {
	final String category;
	final String subitem;
	final Long price;

	public CsvData(String category, String subitem, Long price) {
		this.category = category;
		this.subitem = subitem;
		this.price = price;
	}

	@Override
	public String toString() {
		String[] array = { this.category, this.subitem, String.valueOf(this.price) };
		return String.join(" ", array);
	}
}

Comments

[tignear]

String lsep=System.lineSeparator();
grouped.map((k,v)->k+":"+v+lsep).forEach(bw::write);
こうですか?(なんかあまり良くなさげ)

[Welchs]

回答ありがとうございます。
Map<String, Long> grouped = readAndgrouped(data_file);
と
Map<String, Long> grouped = br.lines().skip(1).map((String line) -> {
String[] arr = line.split(",");
return new CsvData(arr[0], arr[1], Long.parseLong(arr[2]));
}).collect(Collectors.groupingBy(x -> x.category, Collectors.summingLong(x -> x.price)));
の行で実行がうまくいかなかったです。
変数のスコープを設定すればよいでしょうか？

[tignear]

例外の型とスタックトレースを書いてください。
java.lang.NumberFormatExceptionでcsvがここからコピーしたままのものなら最後に空白が入ってるのが悪い。
余計な空白(これも定義が難しいなぁ)に対応したいなら(ここでは三番目のキーの数字以外のものを余計なものとして処理する) Long.parseLong(arr[2].replaceAll("\D","")));にするとか。

[umyu]

tsukkaさんへ
コードのヘルプありがとうございました。
Welchsさんへ
1,あと可能性として有り得そうなのが入力ファイルのファイルエンコード形式が違うとかそーいう問題がありますが。エラーが発生した時のメッセージを追加してください。
2,あくまでもこれはこういう書き方ができますよというサンプルソースコードなので、コードの意味を理解していないままそのまま取り込むのは大変危険な行為です。

[swordone]

集約するだけならわざわざCsvDataなんてクラスを作らなくてもいいような
Map<String, Long> grouped = br.lines().skip(1).map(line -> line.split(","))

.collect(Collectors.groupingBy(x -> x[0], Collectors.summingLong(y -> Long.parseLong(y[2]))));

書いてて気付いた。summingLongのラムダの引数にxを使うと重複する。

[Welchs]

皆様へ
回答ありがとうございます。

umyuさんへ
1.こういうエラーメッセージが出ています。
デバックでは、値を返すメソッドが存在しないとででいます。
Exception in thread "main" java.io.UncheckedIOException: java.nio.charset.MalformedInputException: Input length = 1
at java.io.BufferedReader$1.hasNext(BufferedReader.java:574)
at java.util.Iterator.forEachRemaining(Iterator.java:115)
at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Spliterators.java:1801)
at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:481)
at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:471)
at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(ReduceOps.java:708)
at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234)
at java.util.stream.ReferencePipeline.collect(ReferencePipeline.java:499)
at scvfiledatacounting.File01.readAnddata2(File01.java:37)
at scvfiledatacounting.File01.main(File01.java:22)
Caused by: java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(CoderResult.java:281)
at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:339)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
at java.io.InputStreamReader.read(InputStreamReader.java:184)
at java.io.BufferedReader.fill(BufferedReader.java:161)
at java.io.BufferedReader.readLine(BufferedReader.java:324)
at java.io.BufferedReader.readLine(BufferedReader.java:389)
at java.io.BufferedReader$1.hasNext(BufferedReader.java:571)
... 9 more
2.ご指摘ありがとうございます。javaの勉強始めてまだ間もないですが、ソースコードの理解に、日々奮闘中です。

[tignear]

エンコードがあってないって怒られてます。
csvファイルのエンコードとCharset.forName("Windows-31j");のエンコードを合わせてください。
もしUTF-8ならBOMを使っているのか確認すること。