Go言語でWebサイトのスクレイピングをしたいのですが、アクセス出来ないサイトがあります。
spujav.comというアダルトサイトです。
Windowsのcurlコマンドで、URLだけでアクセスすると別のページが取得されてしまいます。
オプションでユーザーエージェントを追加することで期待したページが取得出来たので、同じようにGo言語でも作成しました。
しかしGoで作ったほうからアクセスすると、別のページが取得されてしまいました。
何が違うのかわかりません。
どうすればいいですか。
Go
1 requrl := "https://supjav.com/?s=" + url.QueryEscape(q) + "&asgtbndr=1" 2 req, err := http.NewRequest("GET", requrl, nil) 3 if err != nil { 4 log.Println(err) 5 return 6 } 7 client := &http.Client{} 8 req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36") 9 req.Header.Add("Accept", "*/*") 10 resp, err := client.Do(req) 11 if err != nil { 12 log.Println(err) 13 return 14 } 15 defer resp.Body.Close()
あなたの回答
tips
プレビュー