Javaでそれぞれの英単語のTFIDFの求め方がわかりません。

Question

Javaを独学で勉強中のJava初心者です。Javaで英文テキストファイルを読み込みそれぞれの英単語のTFIDFを表示させるプログラムを作りたいのですが、どうしてもうまくできません。TFのみを作ってみました。
エラーの意味がわかりません。
ファイルの読み込み方がわからないので直接英文を打ち込みました。こちらでは長いので省略しました。
降順表示もしたいです。

import java.util.List;
import java.lang.String;
/**
 * doc 文書
  term 用語
 */
public class TF1 {
    public double tf(List<String> doc, String term) {
        double result = 0;
        for (String word : doc) {
            if (term.equalsIgnoreCase(word))
                result++;
        }
        return result / doc.size();
    }

    public static void main(String[] args) {
   String str  = new String("//*英文");

        String doc2 = str.split(" ");
        double tf1 = tf(str, doc2);
        for(String words : doc2){
            if(!str.equalsIgnoreCase(words)){
                    System.out.print(doc2 + ":");
                    System.out.println(tf1);
                }
        }
    }
}

このようなエラーが出てきます。
TF1.java:23: null {5}のtf(java.util.List<java.lang.String>,java.lang.String) TF1は指定された型に適用できません
期待値:
検出値: java.lang.String,java.lang.String
double tf1 = tf(str, doc2);
^ ^
エラー1個

Comments

[KSwordOfHaste]

「どうしてもうまくできません」だとあなたがどの程度Javaの知識をお持ちなのか判断が難しいです。まずはプログラム全体について「うまくいかない」ではなく「この処理がうまく動かない」のように問題を特定のメソッドの動きなどに絞ってコードを明示して質問してみるとよいでしょう。問題を局所化できない質問はたいてい「丸投げ質問」として敬遠されてしまう傾向があります。

[manchester]

失礼しました。こちらで質問するのが初めてだったので、すみません。プログラムを追加しました。こちらのエラーの改善方法の指摘お願いします。

[KSwordOfHaste]

注文が多くてすみませんが、<code>ボタンを使って正しく字下げしていただけるとベターです。編集によってプログラムが変わってしまってますが、上記のプログラムが最終的なものですか？HashMapを使って正しくカウントできていそうなプログラムだったのですがその部分がなくなってしまってますよ？

[manchester]

字下げしてみます。TFの関数を作るプログラムとmainでTFを作るプログラムの2パターン作ってみました。編集前の方が良いですか？

[KSwordOfHaste]

２つアドバイスがあります。（１）コードの内容を頻繁に変更するのはやめた方がよいです。回答を書いてくれている途中の人がいた場合、無暗に質問を変えると回答者の努力が無駄になります。（２）<code>を押すと```改行```のようになると思いますが、```で挟まれた部分にコードを書いてください。そうしないと字下げできません。字下げは半角スペースで（面倒ですけど）。

[退会済みユーザー]

String doc2 = str.split(" "); 　×　　String[] doc2 = str.split(" "); ◎

Answer 1

java初心者さんと言う事で
お困りのようですので
簡単にアドバイスをさせて頂きます。

＞Javaで英文テキストファイルを読み込み
この部分についてですが
javaの場合簡単に実装可能です
指定ファイルからテキストファイルを読み込んで
プログラムで処理をする．．．と言う形になります。
詳しくは調べたら簡単に出てきますのでぜひお試しください。

＞英単語のTFIDFを表示させるプログラム
私が予想した限りでは
この部分はやや難易度が高いと思われますが
調べたらすぐにTFIDFサンプルプログラムが
ネットで見つかりました。

細かい仕様がわかりませんが
簡単に実装可能だと思いますので
詳しくは調べたら簡単に出てきますのでぜひお試しください。

＞TFのみを表示させるプログラムでも良いので教えてください。
流れだけでもよいのでお願いします。

これもネット上にサンプルプログラムが
有りますので
ぜひ検索をかけてトレースしてみてください

---

デバッグの仕方がわからないとか
検索の仕方がわからない等
初心者プログラマーの方は（私も初心者ですが）
まずは解決する方法を調べるのが良いと思います。

近年疑問に思った事は
簡単にネットで検索をかければ出てきますので
流れが教えて欲しいのですが～系の
ご質問でしたらまずは
似たようなプログラムが
あちらこちらに点在していますので
トレースしてみてはいかがでしょうか？

トレースしたうえで
この部分がわからないから
教えて欲しい～等
疑問に思う部分もまた湧いてくると
思います。

その時はまたいつでもご質問ください。

Comments

[manchester]

コメントありがとうございます。検索しどれをトレースしてもどうしてもエラーが出てきてしまいます。
プログラムを追加したのでどこが間違えているのか指摘お願いします。

Answer 2

コードが提示されましたね。とりあえずは

TF1.java:22: 互換性のない型

期待値: java.lang.String
検出値: java.lang.String[]

String doc2 = str.split(" "); //誤り
String[] doc2 = str.split(" "); //こちらが正しい

doc2の型の宣言が間違っているわけです。後の方はその影響で出ていたりしますね。初心者のうちは最初のエラーを直してからコンパイルして・・・というのを繰り返した方がいいかも知れません。変数の型の宣言を間違えていたりするとそれ以降エラーが沢山でてしまうので一度になおそうとしても難しいからです。

---

追記：降順

変更後のコードではtfメソッドで出現頻度を返すようになってますね。これで単語と頻度が順番に求まりますが、降順に表示するには並べ替え（ソート）をする必要があります。ソートにはいろいろやり方がありますが、単語と頻度のように複数の要素を一塊としたデータをソートする例を挙げます。

追記：
失礼、最初の例は間違ってました。List.sortはComparatorを渡さないといけないのでした。
なお下記の例は動作確認してません。
他の方の回答も参考にして「プログラムのエラーを直す」ことを学んでいただければと思います。

// 単語と頻度を保持するクラスを作る
class WordAndFreq {
  String word;
  double freq;
  WordAndFreq(String word, double freq) {
    this.word = word;
    this.freq = freq;
  }
}
...
// まず頻度を調べながらWordAndFreqをListの要素として蓄積
List<WordAndFreq> list = new List<>();
for (String word : doc2) {
  list.add(new WordAndFreq(word, tf(doc2, word)));
}
// Listをソート
list.sort(new Comparator<WordAndFreq>() {
  @Override
  public int compare(WordAndFreq o1, WordAndFreq o2) {
//  return Double.compare(o1.freq, o2.freq); //昇順
    return Double.compare(o2.freq, o1.freq); //降順
  }
});
// ソート結果を表示
for (WordAndFreq wf : list) {
  System.out.format("%s: %4.1f\n", wf.word, wf.freq);
}
...

Comments

[manchester]

ありがとうございます。型を変更した結果エラーが1つになりました。
こちらのエラーはどのような意味でしょうか？

[KSwordOfHaste]

String[]型の値をList<String>型を必要とするメソッドへ渡そうとしているからです。
とりあえずメソッドの引数の型をString[]に直せばよいです。

[manchester]

public double tf(String[] doc, String term) {
と変えてみたのですが、同じエラーが出てしまいます。
どうすればよいでしょうか？

[KSwordOfHaste]

引数の順番が逆になってませんか？プログラムは慎重に見直してください。

[manchester]

逆になっていました。無事おそらくTFが表示できました。ありがとうございます。
重複した単語を表示させなかったり、ソートで並び替えて表示させることは可能ですか？

[KSwordOfHaste]

一応ソートの例を載せました。ただし、私の回答よりdec5798さんがおっしゃることの方が大事だと思います。わからないことを全部尋ねる前にご自分で調べてみることが大事です。

Answer 3

以下は文章を複数のファイルに分けて入れて
それをコンソール上で入力し、入力し終わったらendを入力すると
出力ファイルに結果のtf,idf,tfidfが出力されるコードです

import java.util.*;
import java.io.*;

public class SHQ {

	static ArrayList<ArrayList<String>> c = new ArrayList<ArrayList<String>>();

	static ArrayList<String> nam = new ArrayList<String>();

	public static void main(String[] args) {

		try (BufferedWriter bw = new BufferedWriter(new FileWriter("write.txt"))) {// 結果出力ファイル名
			bw.write("start");
			bw.newLine();
		} catch (Exception e) {
		}

		Console co = System.console();
		System.out.print("file name:");
		String st = "";
		while (!(st = co.readLine()).equals("end")) {

			ADD(st);
			nam.add(st);
			System.out.print("file name:");
		}
		System.out.println("end");
		STT();

	}

	static void STT() {

		try (BufferedWriter bw = new BufferedWriter(new FileWriter("write.txt",
				true))) {
			int count = 0;
			for (ArrayList<String> q : c) {
				bw.write(nam.get(count) + "ファイルのtf,idf,tf×idf");
				bw.newLine();
				for (String w : q) {
					bw.write("単語" + w + "のtf:");
					int count2 = 0;
					for (String f : q) {
						if (f.equals(w))
							count2++;
					}
					bw.write("" + (double) count2 / q.size());
					bw.newLine();

					bw.write("単語" + w + "のidf:");
					int couny = 0;
					for (ArrayList<String> y : c) {

						for (String h : y) {
							if (w.equals(h)) {
								couny++;
								break;
							}
						}

					}
					// System.out.println((double)c.size()/couny);
					double asd = Math.log((double) c.size() / couny) + 1;
					bw.write("" + asd);
					bw.newLine();
					bw.write("単語" + w + "のtf×idf:"
							+ (Math.log((double) c.size() / couny) + 1)
							* ((double) count2 / q.size()));
					bw.newLine();
					bw.newLine();
				}
				count++;
				bw.newLine();
				bw.newLine();
				bw.newLine();
				bw.newLine();
			}

		} catch (Exception e) {
			System.out.print("allerr");
		}

	}

	static void ADD(String s) {

		ArrayList<String> a = null;

		try (BufferedReader br = new BufferedReader(new FileReader(s))) {
			a = new ArrayList<String>();

			String data = "";

			while ((data = br.readLine()) != null) {

				String[] aa = data.split(" +");

				for (String sd : aa) {
					a.add(sd);
				}

			}

		} catch (Exception e) {
			System.out.println("err3");
		}
		if (a != null) {
			c.add(a);
		}

	}

質問文のエラーを訂正したものが以下です

import java.util.List;
import java.lang.String;

/**
 * doc 文書 term 用語
 */
public class TF1 {
	public static double tf(String term, String[] doc) {
		double result = 0;
		for (String word : doc) {
			if (term.equalsIgnoreCase(word))
				result++;
		}
		return (double) result / doc.length;
	}

	public static void main(String[] args) {
		String str = "It is a Java beginner who is studying Java by self taught. I'd like to create a program that reads English text files in Java and displays TFIDF of each English word, but I can not do it well by all means. I tried to make only TF.　I do not know the meaning of the error.　Since I do not know how to read the file, I typed in English directly. I omitted it here because it is long.　I also want to display descending order";

		String[] doc2 = str.split(" ");

		for (String words : doc2) {
			double tf1 = tf(words, doc2);
			if (!str.equalsIgnoreCase(words)) {
				System.out.print(words + ":");
				System.out.println(tf1);
			}
		}
	}
}

重複したものを表示させない・降順ソートした表示は以下です

import java.util.*;
import java.lang.String;

/**
 * doc 文書 term 用語
 */
public class TF1 {
    public static double tf(String term, String[] doc) {
        double result = 0;
        for (String word : doc) {
            if (term.equalsIgnoreCase(word))
                result++;
        }
        return (double) result / doc.length;
    }

    public static void main(String[] args) {
        String str = "It is a Java beginner who is studying Java by self taught. I'd like to create a program that reads English text files in Java and displays TFIDF of each English word, but I can not do it well by all means. I tried to make only TF.　I do not know the meaning of the error.　Since I do not know how to read the file, I typed in English directly. I omitted it here because it is long.　I also want to display descending order";

        String[] doc2 = str.split(" ");
 TreeMap<String,Double> c=new TreeMap<>();

        for (String words : doc2) {
            double tf1 = tf(words, doc2);
            if (!str.equalsIgnoreCase(words)) {
		c.put(words,tf1);
            }
	
        }
System.out.println("重複した単語を表示させない");
	for(String er:c.keySet()){
		System.out.println(er+":"+c.get(er));
	}
 TreeMap<String,Double> c2=new TreeMap<>(new CX(c));
c2.putAll(c);
System.out.println("\n\n降順にソート");

for(String er:c2.keySet()){
		System.out.println(er+":"+c.get(er));
	}
    }


}

class CX implements Comparator<String> {
    private Map<String, Double> map;
    public CX(Map<String, Double>  map) {
        this.map = map;
    }
    public int compare(String key1, String key2) {
        double value1 = map.get(key1);
        double value2 = map.get(key2);
        if(value1 == value2)
            return key1.toLowerCase().compareTo(key2.toLowerCase());
        else if(value1 < value2)
            return 1;
        else
            return -1;
    }
}

Comments

[manchester]

ありがとうございます。ちなみに降順に並べ替えることは可能でしょうか？