GO言語で英語の長文のTFを求める

Question

GO言語で短文のTFを求めるプログラムは作ることができたのですが、英語の長文のTFを求めるプログラムを作ることができません。
英語の長文は.txtにまとめているのですが、テキストファイルに書いた長文のTFを求めるにはどうすればよいのかわかりません。お力添えお願いします。

Comments

[y_waiwai]

TFとはなに？

[ouma1219]

TFとは、単語の出現頻出のことです。文章中に出現する単語とその出現頻度を求めて出現頻度の高い順に並べたいと考えているのですが、解決できないです。

Answer 1

出現頻度は以下のようにすればカウントできます。
あとはソートですがご自分で考えてみたやってみた追記のあとで。

https://play.golang.org/p/sjDV88hRXPr

package main

import (
	"bufio"
	"bytes"
	"fmt"
	"strings"
)

var source = `
I have a pen.
I have an apple.
Apple pen!
I have a pen.
I have a pineapple.
Pineapple pen!
`

func main() {
	count := map[string]int{}
	scanner := bufio.NewScanner(bytes.NewBuffer([]byte(source)))
	scanner.Split(bufio.ScanWords)
	for scanner.Scan() {
		word := strings.TrimRight(scanner.Text(), ".!")
		count[word] += 1
	}
	fmt.Println(count)
}

出力

map[Apple:1 I:4 Pineapple:1 a:3 an:1 apple:1 have:4 pen:4 pineapple:1]