java tf-idf値を計算するプログラム

Question

if-idf値を計算し、ファイルに書き出すプログラムを書いているのですが、ファイルに出力される値がおかしくなってしまいます。

5つの入力ファイルから単語を読み取り、単語の出現回数や特定の単語が5つのファイルの内いくつのファイルに存在するかなどを数えて、tf-idf値の上位5つの値をファイルに書き出したいです。

何度もプログラムを見返してみたのですが、どこが悪いのかわかりません、、
wordFreqMapは単語とその出現回数、sourceWordCountMapはソースファイルとWordCountのインスタンス、docFreqMapは単語とその単語が含まれるファイルの数保管するものです。

プログラミングが得意ではなくて、質問の仕方もわかりにくいとは思いますが、よろしくお願いいたします、、、

package p7;

import java.io.*;
import java.lang.*;
import java.util.*;

import java.util.Map.Entry;

//for 7th week
public class WordCount {

	private File sourceFile;
	private int total;
	private HashMap<String, Integer> wordFreqMap;
	// for 7th week
	private HashMap<String, Double> tfidfWeight;
	private static HashMap<String, WordCount> sourceWordCountMap = new HashMap<>();
	private static HashMap<String, Integer> docFreqMap = new HashMap<>();

	// for 7th week: Exercise 7-1
	// Initialize sourceFile, total, wordFreqMap, and tfidfWeight fields.
	WordCount(File sourceFile) {
		setSourceFile(sourceFile);
		total=0;
		wordFreqMap=new HashMap<>();
		tfidfWeight=new HashMap<>();
	}

	// for 7th week: Exercise 7-1
	String getSourceName() {
		return sourceFile.getName();
	}

	// for 7th week: Exercise 7-1
	void setSourceFile(File sourceFile) {
		this.sourceFile=sourceFile;
	}

	// for 6th week
	// Copy the code from TextInfo.java
	private void countFreq(String word1) {
		String[] words = word1.split(" ");
        for (String word : words) {
            if (!word.isEmpty()) {
                if (wordFreqMap.containsKey(word)) {
                    int count = wordFreqMap.get(word) + 1;
                    wordFreqMap.put(word, count);
                } else {
                	wordFreqMap.put(word, 1);
                }
            }
        }
        List<Entry<String,Integer>> entries=new ArrayList<>(wordFreqMap.entrySet());
		Collections.sort(entries,new Comparator<>() {
			public int compare(Entry<String,Integer> obj1,Entry<String,Integer> obj2) {
				return obj2.getValue().compareTo(obj1.getValue());
			}
		});
	}

	// for 7th week: Exercise 7-1
	void readFile() {
		try {
			InputStreamReader isr = new InputStreamReader(new FileInputStream(sourceFile), "Shift-JIS");
			BufferedReader br = new BufferedReader(isr);
			String s, token[];
			while ((s = br.readLine()) != null) {
				if (s.isEmpty()) {
					continue;
				}
				countFreq(s);
			}
			br.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	// for 6th week
	// Copy the code from TextInfo.java
	int getFreq(String word) {
		return wordFreqMap.get(word);
	}

	// for 7th week: Exercise 7-2
	// Returns the set of words stored in its instance.
	Set<String> getWordSet() {
		return this.wordFreqMap.keySet();
	}

	// for 7th week: Exercise 7-1
	// Writes the top n words in frequency (together with their frequency).
	void writeTopNFrequentWords(int n, File outputFile) {
		try {
			OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream(outputFile), "Shift-JIS");
			BufferedWriter bw = new BufferedWriter(osw);
			PrintWriter pw = new PrintWriter(bw);
			List<Entry<String,Integer>> entries=new ArrayList<>(wordFreqMap.entrySet());
			Collections.sort(entries,new Comparator<>() {
				public int compare(Entry<String,Integer> obj1,Entry<String,Integer> obj2) {
					return obj2.getValue().compareTo(obj1.getValue());
				}
			});
			pw.println("Top "+n+" words in frequency");
			int i=0;
			for(Entry<String,Integer> entry:entries) {
				if(i==n) {
					break;
				}
				pw.println((i+1)+":"+entry.getKey()+"("+entry.getValue()+")");
				i++;
			}
			pw.println();
			pw.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	// for 7th week: Exercise 7-1
	// Set sourceWordCountMap that stores the pairs of a sourceName (key) and
	// the instance of WordCount (value).
	static void setSourceWordCountMap(String inputDirPath) {
		
		File dir=new File(inputDirPath);
		File [] files=dir.listFiles();
		
		for(File file : files) {
			sourceWordCountMap.put(file.getName(),new WordCount(new File(inputDirPath,file.getName())));
			sourceWordCountMap.get(file.getName()).readFile();
		}
	}

	// for 7th week: Exercise 7-2
	// Calculates the TF-IDF weight of each word stored in its instance.
	// See the slide p.15 for the definition of TF-IDF.
	void calTFIDF() {
		
		

		for(WordCount wc : sourceWordCountMap.values() ) {
			
			Set<String> words=wc.getWordSet();
			
			double nd=0;
			for(String word : words) {
				nd+=wc.wordFreqMap.get(word);
			}
			//System.out.println(nd);
			double docNum=sourceWordCountMap.size();
			//System.out.println(docNum);
			
			
			
			
			
			for(String word : words) {
				double nwd=wc.wordFreqMap.get(word);
				//System.out.println(word);
				//System.out.println(nwd);
				double tf=nwd/nd;
				//System.out.println(tf);
				double dw=docFreqMap.get(word);
				//System.out.println(dw);
				
				double idf=Math.log(docNum/dw);
				
				double ans=tf*idf;
				
				tfidfWeight.put(word,((double)Math.round(ans*1000))/1000);
				
				
				
				
				
				
			}
			
			
		}
		
		
	}

	// for 7th week: Exercise 7-2
	// Writes the top n words in TF-IDF weight (together with their TF-IDF weight).
	void writeTopNTfIdfWords(int n, File outputFile) {
		try {
			OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream(outputFile), "Shift-JIS");
			BufferedWriter bw = new BufferedWriter(osw);
			PrintWriter pw = new PrintWriter(bw);
			
			List<Entry<String,Double>> entries=new ArrayList<>(tfidfWeight.entrySet());
			Collections.sort(entries,new Comparator<>() {
				public int compare(Entry<String,Double> obj1,Entry<String,Double> obj2) {
					return obj2.getValue().compareTo(obj1.getValue());
				}
			});
			pw.println("Top "+n+" words in TF-IDF");
			int i=0;
			for(Entry<String,Double> entry:entries) {
				if(i==n) {
					break;
				}
				pw.println((i+1)+":"+entry.getKey()+"("+entry.getValue()+")");
				i++;
			}
			pw.println();
			
			
			
			pw.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	// for 7th week: Exercise 7-2
	// Set docFreqMap that stores the pairs of a word (key) and the number of
	// documents in which the word appears (value).
	static void setDocFreqMap() {
		
		int count=0;
		
		for(WordCount wc : sourceWordCountMap.values() ) {
			
			Set<String> words=wc.getWordSet();
			for(String word : words) {
				if(!word.isEmpty()) {
					if(docFreqMap.containsKey(word)) {
						count=docFreqMap.get(word)+1;
						docFreqMap.put(word,count);
					}else {
						docFreqMap.put(word,1);
					}
				}
			}
			
			
		}
			
		
			
	}

	public static void main(String[] args) {
		if (args.length != 3) {
			System.err.println(
					"java WordCount [test1|test2|test3|test4|test5|freq|tfidf] [input dir path] [source name]");
			System.exit(-1);
		}
		String type = args[0];
		String inputDirPath = args[1];
		String sourceName = args[2];

		setSourceWordCountMap(inputDirPath);
		setDocFreqMap();
		WordCount wc = sourceWordCountMap.get(sourceName);
		File outputFile = new File(type + "_" + sourceName);
		wc.calTFIDF();
		switch (type) {
		
		case "tfidf": // for Exercise 7-2
			wc.writeTopNTfIdfWords(5, outputFile);
			break;
		default:
			System.err.println(
					"java WordCount [test1|test2|test3|test4|test5|freq|tfidf] [input dir path] [source name]");
		}
	}

}

Comments

[m.ts10806]

おかしいとは、どうなる予定がどうなっているのでしょう。
https://teratail.com/help/question-tips#questionTips3-4

[jimbe]

あちこちに「//for 7th week」等ありますが、何かの教材からのコードでしょうか。

[hanao_]

Top 5 words in TF-IDF weight
1: Hyundai(0.027)
2: Hyundai's(0.011)
3: dealers(0.006)
4: market(0.006)
5: auto(0.005)

↑のような結果が出てほしいのですが、

Top 5 words in TF-IDF
1: Tesla(0.041)
2: Hyundai(0.027)
3: Model(0.027)
4: company(0.024)
5: sanctions(0.021)

自分のプログラムでは↑のような出力になってしまいます、、、

HyundaiのTD-IDF値は正しく出ているのでTF-IDF値の計算自体は間違っていないと思うのですが、、、

[hanao_]

教材からのコードです

[jimbe]

その教材はどうしたら見れるでしょうか。
また、ご提示の結果になるデータはどこから得られるでしょうか。