goqueryを用いてQiitaのトレンド1位のURLとタイトルを取得したい。

Question

##実現したいこと
表題の通りです。
Golangの勉強を始め、goqueryを用いてスクレイピングをしたいと思っています。
Googleで漁ったのですが、処理は正常終了して、タイトルが取得できない為、質問させて下さい。

##スクレイピングの対象
URL ： https://qiita.com/

##コード
コードは、トレンド１位の記事のタイトルを取得するコードを想定して書いています。

package main

import (
	"fmt"

	"github.com/PuerkitoBio/goquery"
)

func GetPage(url string) {
	doc, _ := goquery.NewDocument(url)

	selection := doc.Find("a.tr-Item_title")
	fmt.Println(selection.Text())
}

func main() {
	url := "https://qiita.com/"
	GetPage(url)
}

##実行結果

$ go run main.go 
$

何も表示されない。

##質問
どのようにコードを書き換えれば、目的のタイトル（とURL）が取得できるか。

もし、詳しい方いましたらご教授ください。

Answer 1

取得しようとしているHTMLタグの箇所がJavaScriptによってブラウザによって描画されているために、ブラウザを経由しないGoでのスクリプトでは取得できないと思われます。

https://qiita.com/mmm888/items/42383f967e44e633f0eb

上記のQiita記事にあるように

WebDriverを使ってブラウザに表示された実際のHTMLをgoqueryに渡してスクレイピングする必要がある。

をすれば取得可能ではないでしょうか?

(※ スクレイピングは対象サーバーに負荷をかけることになりうるケースもあるので、行為自体を推奨しているわけではございません。そのあたりの責任は負いかねますのでご了承ください。)

Comments

[Satoki]

headlessモードでchrome接続することで無事、スクレイピングすることができました。
ありがとうございました。