質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

Go

Go(golang)は、Googleで開発されたオープンソースのプログラミング言語です。

POST

POSTはHTTPプロトコルのリクエストメソッドです。ファイルをアップロードしたときや入力フォームが送信されたときなど、クライアントがデータをサーバに送る際に利用されます。

Q&A

1回答

4693閲覧

curlではできるのにPostmanやGolang上ではうまくPOSTリクエストができない

kotaroooo0

総合スコア12

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

Go

Go(golang)は、Googleで開発されたオープンソースのプログラミング言語です。

POST

POSTはHTTPプロトコルのリクエストメソッドです。ファイルをアップロードしたときや入力フォームが送信されたときなど、クライアントがデータをサーバに送る際に利用されます。

0グッド

0クリップ

投稿2019/07/15 13:02

編集2022/01/12 10:55

前提・実現したいこと

Golangでスクレイピングを行なっています。
そこで、ツイッターの特定のユーザーのイイね一覧を取得しようとしています。
しかし、イイねはログインしていないと取得することはできません。
そこで、ログイン後イイねページにリダイレクトするリクエストを送ります。

試していること

curlでは

curl -L POST https://twitter.com/sessions --data-urlencode "authenticity_token=hoge" --data-urlencode "session[username_or_email]=hoge" --data-urlencode "session[password]=hoge" --data-urlencode "redirect_after_login=/hoge/likes" --data-urlencode "ui_metrics=hoge"

とすればうまく取得できています。

しかし、Golangでは

values := url.Values{} values.Add("authenticity_token", "hoge") values.Add("session[username_or_email]", "hoge") values.Add("session[password]", "hoge") values.Add("redirect_after_login", "hoge") values.Add("ui_metrics", "hoge") req, err := http.NewRequest( "POST", "https://twitter.com/sessions", strings.NewReader(values.Encode()), ) client := &http.Client{} resp, err := client.Do(req) if err != nil { fmt.Println(err) return }

としても、 https://twitter.com/login/error?username_or_email=hoge&redirect_after_login=hoge にリダイレクトされうまくログインできません。

Postmanでx-www-form-urlencodedを指定してdataを送信しも同様のページにリダイレクトされます。

なにが違うんでしょうか。

追記
values := url.Values{} values.Add("authenticity_token", "hoge") values.Add("session[username_or_email]", os.Getenv("TWITTER_USER_NAME")) values.Add("session[password]", os.Getenv("TWITTER_PASSWORD")) values.Add("redirect_after_login", "/"+os.Getenv("TWITTER_USER_NAME")+"/likes") values.Add("ui_metrics", "hoge") req, err := http.NewRequest( "POST", "https://twitter.com/sessions", strings.NewReader(values.Encode()), ) req.Header.Add("Content-Type", "application/x-www-form-urlencoded") jar, _ := cookiejar.New(nil) client := &http.Client{Jar: jar} resp, err := client.Do(req)

このようにしても/login/errorにリダイレクトされます。
login/errorでsession[username_or_email]やredirect_after_loginの値が使われているので、valuesは正しく渡っています。
本当に原因がわかりません。。。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

nobonobo

2019/07/16 05:00 編集

curlのラージLオプション無しで動作しない事を確認してみてください。 (動作しないことが確認できたらラージLオプションの機能がどういったものかを調べましょう)
kotaroooo0

2019/07/16 08:06

-Lがリダイレクト先まで追跡するオプションなのは知っております。 -Lでリクエストした場合、you are being redirected のようなページが出力され正しくログインします。 したがって、Golangでは期待通りの動作をしていないということになります。
nobonobo

2019/07/16 09:43 編集

あ、すいません、Goのhttp.Clientは3xx系のHTTPステータスコードが返ったらリダイレクト先へ再度リクエストを投げるのが標準の挙動でした。 このあたりの挙動が問題ではなさそうですね・・・。
nobonobo

2019/07/16 10:02

req.Header.Add("Content-Type", "application/x-www-form-urlencoded") をつけてみるとか。
kotaroooo0

2019/07/16 10:03

req.Header.Add("Content-Type", "application/x-www-form-urlencoded") は試しましたが、不可能でした。
nobonobo

2019/07/22 01:47

うーむ。おそらく同じ条件じゃないから再現しにくいですね。これは「アカウントが二段階認証を有効にしていない」ということが必須? あと、「この形のログイン」自体イレギュラーな方法かと。 開発者APIキーを取得してOAuth経由でアクセスするのが順当かも。
guest

回答1

0

Go http client はそのままではcookieをハンドリングしないので

import "net/http/cookiejar" jar,_ := cookiejar.New(nil) client := &http.Client{Jar: jar}

のようにcookiejarを追加しましょう

今回の場合、 https://twitter.com/sessions にアクセスした際、cookieがセットされますが、redirect する際にcurlはcookieをハンドリングしてくれますが、golangのhttp clientにJarが設定されていないため、ハンドリングしてくれないのが原因かと思います。

投稿2019/07/16 11:52

calkinos

総合スコア452

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kotaroooo0

2019/07/16 16:43 編集

``` values := url.Values{} values.Add("authenticity_token", "hoge") values.Add("session[username_or_email]", os.Getenv("TWITTER_USER_NAME")) values.Add("session[password]", os.Getenv("TWITTER_PASSWORD")) values.Add("redirect_after_login", "/"+os.Getenv("TWITTER_USER_NAME")+"/likes") values.Add("ui_metrics", "hoge") req, err := http.NewRequest( "POST", "https://twitter.com/sessions", strings.NewReader(values.Encode()), ) req.Header.Add("Content-Type", "application/x-www-form-urlencoded") jar, _ := cookiejar.New(nil) client := &http.Client{Jar: jar} resp, err := client.Do(req) ``` このようにしても/login/errorにリダイレクトされます。 本当に原因がわかりません。。。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問