Go言語のAgouti(Selenium WebDriver)　複数サイトでスクレイピングをする際の読み込み時間を短くしたい

go
1func DisplayAction(c *gin.Context){
2agoutiDriver := agouti.ChromeDriver(
3    agouti.ChromeOptions("args", []string{
4       "--headless",// headlessモードの指定 サイト読み込み時の起動をなくす
5    }),
6 )
7
8
9    agoutiDriver.Start()
10    defer agoutiDriver.Stop()
11    page, _ := agoutiDriver.NewPage()
12    
13    
14    // サイト1
15   page.Navigate("https://www.サイト1.co.jp/"); 
16   title1, _ := page.Title()
17   info1, _ := page.FindByID("info-box").Text()
18
19    // サイト2
20   page.Navigate("https://www.サイト2.co.jp/"); 
21   title2, _ := page.Title()
22   info2, _ := page.FindByID("info-box").Text()
23
24
25 c.HTML(200, "test.html", gin.H{
26        "title1": title1,
27        "info1": info1,
28        "title2": title2,
29        "info2": info2,
30    })

現在上記のようなコードでスクレイピングを行なっているのですが、
読み込み先のサイト数が1つ増えるごとに3秒ほど読み込み時間が増えてしまいます。

スクレイピングするサイト数を増やしても読み込み時間が増えないようになる方法
などがございましたらご教授いただきたいです。何卒よろしくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

Goの知識のみの思いつきですが、
pageを複数用意してgoroutineに引き渡してそれぞれでNavigateしてみるとかどうですか？

投稿2021/01/09 13:22

nobonobo

総合スコア3367

pokerStars

2021/01/10 03:02

ご回答ありがとうございます！ goroutineを使って並行処理することで時間短縮できそうです！大変感謝いたします！！

行動規範の内容に同意します

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

Go言語のAgouti(Selenium WebDriver)　複数サイトでスクレイピングをする際の読み込み時間を短くしたい

関連した質問