質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
GET

GETとはHTTPが対応するリクエストメソッドの一つです。クライアントからサーバーへ送られたURLパラメータのデータを取得する時必要がある時に使われます。

HTTP

HTTP(Hypertext Transfer Protocol)とはweb上でHTML等のコンテンツを交換するために使われるアプリケーション層の通信プロトコルです。

HTTPヘッダー

Hypertext Transfer Protocol(HTTP)の中のHTTPヘッダフィールドはHTTPの要求やレスポンスの機能しているパラメーターが含まれます。その要求もしくはレスポンスライン(メッセージの最初の一行)でメッセージヘッダを作ります。

Q&A

0回答

1138閲覧

curlで取得出来るのにGoだと取得出来ないページがあります。何が違うんでしょうか

otftrough

総合スコア476

GET

GETとはHTTPが対応するリクエストメソッドの一つです。クライアントからサーバーへ送られたURLパラメータのデータを取得する時必要がある時に使われます。

HTTP

HTTP(Hypertext Transfer Protocol)とはweb上でHTML等のコンテンツを交換するために使われるアプリケーション層の通信プロトコルです。

HTTPヘッダー

Hypertext Transfer Protocol(HTTP)の中のHTTPヘッダフィールドはHTTPの要求やレスポンスの機能しているパラメーターが含まれます。その要求もしくはレスポンスライン(メッセージの最初の一行)でメッセージヘッダを作ります。

0グッド

0クリップ

投稿2022/02/24 09:04

編集2022/02/24 09:18

Go言語でWebサイトのスクレイピングをしたいのですが、アクセス出来ないサイトがあります。
spujav.comというアダルトサイトです。
Windowsのcurlコマンドで、URLだけでアクセスすると別のページが取得されてしまいます。
オプションでユーザーエージェントを追加することで期待したページが取得出来たので、同じようにGo言語でも作成しました。
しかしGoで作ったほうからアクセスすると、別のページが取得されてしまいました。
何が違うのかわかりません。
どうすればいいですか。

別のページというのはこういうものです。
イメージ説明

Go

1 requrl := "https://supjav.com/?s=" + url.QueryEscape(q) + "&asgtbndr=1" 2 req, err := http.NewRequest("GET", requrl, nil) 3 if err != nil { 4 log.Println(err) 5 return 6 } 7 client := &http.Client{} 8 req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36") 9 req.Header.Add("Accept", "*/*") 10 resp, err := client.Do(req) 11 if err != nil { 12 log.Println(err) 13 return 14 } 15 defer resp.Body.Close()

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問