Go言語のAgouti(Selenium WebDriver) 複数サイトでスクレイピングをする際の読み込み時間を短くしたい

Question

func DisplayAction(c *gin.Context){
agoutiDriver := agouti.ChromeDriver(
    agouti.ChromeOptions("args", []string{
       "--headless",// headlessモードの指定 サイト読み込み時の起動をなくす
    }),
 )


    agoutiDriver.Start()
    defer agoutiDriver.Stop()
    page, _ := agoutiDriver.NewPage()
    
    
    // サイト1
   page.Navigate("https://www.サイト1.co.jp/"); 
   title1, _ := page.Title()
   info1, _ := page.FindByID("info-box").Text()

    // サイト2
   page.Navigate("https://www.サイト2.co.jp/"); 
   title2, _ := page.Title()
   info2, _ := page.FindByID("info-box").Text()


 c.HTML(200, "test.html", gin.H{
        "title1": title1,
        "info1": info1,
        "title2": title2,
        "info2": info2,
    })

現在上記のようなコードでスクレイピングを行なっているのですが、
読み込み先のサイト数が1つ増えるごとに3秒ほど読み込み時間が増えてしまいます。

スクレイピングするサイト数を増やしても読み込み時間が増えないようになる方法
などがございましたらご教授いただきたいです。何卒よろしくお願い致します。

Answer 1

Goの知識のみの思いつきですが、
pageを複数用意してgoroutineに引き渡してそれぞれでNavigateしてみるとかどうですか？

Comments

[pokerStars]

ご回答ありがとうございます！
goroutineを使って並行処理することで時間短縮できそうです！
大変感謝いたします！！