空白行の削除が上手く出来ません。

Question

前提・実現したいこと

go言語で5ch系避難所のスレッドからURLを取得し、各種URLからサイトタイトルと記事タイトルを取得し、markdownに変換し、それをページ化するプログラムを書いています。
根本的に、サイトタイトルを取得する為にURLへアクセスする機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

 "": unsupported protocol scheme ""

これは過去ログURLとサンプルURLが含まれていて、それを空白で置換していて、それをロードした時に発生している模様です。
ですので、空白行を削除する為に、Scanner.Text()を渡しているんですが、それで避けきれていない様で、エラーメッセージが吐かれます。

該当のソースコード

func readAge() {
	const sleepInterval = 10
	data, err := os.Open("thread.md")
	if err != nil {
		log.Print("e: ", err)
		return
	}
	log.Print("d: ")
	defer data.Close()
	scanner := bufio.NewScanner(data)
	for scanner.Scan() {
		logging := fmt.Sprint(scanner.Text())
		//fmt.Println(logging)
		result := strings.TrimRight(logging, "\n")
		log.Print("d: Debug")
		//ここでエラーハンドリングに飛びます。
		res, err := http.Get(result)
		if err != nil {
			log.Print("e: Scheme", err)
		}
		defer res.Body.Close()
		doc, err := goquery.NewDocumentFromReader(res.Body)
		if err != nil {
			log.Print("e: ", err)
		}
		log.Print("d: ", doc)
	}
}

ソースコード 全貌はこちらにあります。

試したこと

補足情報（FW/ツールのバージョンなど）

• Windows 10 OS Build 18363
• go version go1.14.4 windows/amd64
• VSCode 1.46.1

Answer 1

scanner.Scan() でファイルの末尾まで読み込んで false になるまでループがまわります。Scanner.Text() は読み込んだ文字列を取得しますが、空白行を取り除くことはしません。デフォルトでは文字列の末尾に \n は含まれないため strings.TrimRight(logging, "\n") は不要です。

さて、空白行の削除ですが、空白行 "" を除くには例えば以下のように文字列の長さをチェックして処理しないなどの実装が必要です。

if len(result) == 0 {
	continue
}

少し改善した実装です。fmt.Sprint(scanner.Text()) は scanner.Text() で問題ありません。

func readAge() {
	const sleepInterval = 10
	data, err := os.Open("thread.md")
	if err != nil {
		log.Print("e: ", err)
		return
	}
	log.Print("d: ")
	defer data.Close()
	scanner := bufio.NewScanner(data)
	for scanner.Scan() {
		result := scanner.Text()
		//fmt.Println(logging)
		//result := strings.TrimRight(logging, "\n")
		log.Print("d: Debug")
		if len(result) == 0 {
			continue
		}
		res, err := http.Get(result)
		if err != nil {
			log.Print("e: Scheme", err)
		}
		defer res.Body.Close()
		doc, err := goquery.NewDocumentFromReader(res.Body)
		if err != nil {
			log.Print("e: ", err)
		}
		log.Print("d: ", doc)
	}
}

その他にも細かいですが

• http.Get のレスポンスのステータスコードが 200 なのかどうか確認する
• for の中での defer を避ける(readAge() から return しないとクローズされないため)
• readAge() で呼び出し元に error を返すようにシグネチャを修正する

などいくつか改善ポイントはありそうです。