質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.98%

curlではできるのにPostmanやGolang上ではうまくPOSTリクエストができない

受付中

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 716

kotaroooo0

score 6

前提・実現したいこと

Golangでスクレイピングを行なっています。
そこで、ツイッターの特定のユーザーのイイね一覧を取得しようとしています。
しかし、イイねはログインしていないと取得することはできません。
そこで、ログイン後イイねページにリダイレクトするリクエストを送ります。

試していること

curlでは

curl -L POST https://twitter.com/sessions --data-urlencode "authenticity_token=hoge" --data-urlencode "session[username_or_email]=hoge" --data-urlencode "session[password]=hoge" --data-urlencode "redirect_after_login=/hoge/likes" --data-urlencode "ui_metrics=hoge"

とすればうまく取得できています。

しかし、Golangでは

values := url.Values{}
values.Add("authenticity_token", "hoge")
values.Add("session[username_or_email]", "hoge")
values.Add("session[password]", "hoge")
values.Add("redirect_after_login", "hoge")
values.Add("ui_metrics", "hoge")
req, err := http.NewRequest(
   "POST",
   "https://twitter.com/sessions",
   strings.NewReader(values.Encode()),
)
client := &http.Client{}
   resp, err := client.Do(req)
   if err != nil {
      fmt.Println(err)
      return
   }

としても、 https://twitter.com/login/error?username_or_email=hoge&redirect_after_login=hoge にリダイレクトされうまくログインできません。

Postmanでx-www-form-urlencodedを指定してdataを送信しも同様のページにリダイレクトされます。

なにが違うんでしょうか。

追記
    values := url.Values{}
    values.Add("authenticity_token", "hoge")
    values.Add("session[username_or_email]", os.Getenv("TWITTER_USER_NAME"))
    values.Add("session[password]", os.Getenv("TWITTER_PASSWORD"))
    values.Add("redirect_after_login", "/"+os.Getenv("TWITTER_USER_NAME")+"/likes")
    values.Add("ui_metrics", "hoge")

    req, err := http.NewRequest(
        "POST",
        "https://twitter.com/sessions",
        strings.NewReader(values.Encode()),
    )
    req.Header.Add("Content-Type", "application/x-www-form-urlencoded")

    jar, _ := cookiejar.New(nil)
    client := &http.Client{Jar: jar}
    resp, err := client.Do(req)

このようにしても/login/errorにリダイレクトされます。
login/errorでsession[username_or_email]やredirect_after_loginの値が使われているので、valuesは正しく渡っています。
本当に原因がわかりません。。。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • nobonobo

    2019/07/16 19:02

    req.Header.Add("Content-Type", "application/x-www-form-urlencoded") をつけてみるとか。

    キャンセル

  • kotaroooo0

    2019/07/16 19:03

    req.Header.Add("Content-Type", "application/x-www-form-urlencoded") は試しましたが、不可能でした。

    キャンセル

  • nobonobo

    2019/07/22 10:47

    うーむ。おそらく同じ条件じゃないから再現しにくいですね。これは「アカウントが二段階認証を有効にしていない」ということが必須?

    あと、「この形のログイン」自体イレギュラーな方法かと。
    開発者APIキーを取得してOAuth経由でアクセスするのが順当かも。

    キャンセル

回答 1

+1

Go http client はそのままではcookieをハンドリングしないので

import "net/http/cookiejar"
jar,_ := cookiejar.New(nil)
client := &http.Client{Jar: jar}


のようにcookiejarを追加しましょう

今回の場合、 https://twitter.com/sessions にアクセスした際、cookieがセットされますが、redirect する際にcurlはcookieをハンドリングしてくれますが、golangのhttp clientにJarが設定されていないため、ハンドリングしてくれないのが原因かと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/07/17 01:42 編集

    ```
    values := url.Values{}
    values.Add("authenticity_token", "hoge")
    values.Add("session[username_or_email]", os.Getenv("TWITTER_USER_NAME"))
    values.Add("session[password]", os.Getenv("TWITTER_PASSWORD"))
    values.Add("redirect_after_login", "/"+os.Getenv("TWITTER_USER_NAME")+"/likes")
    values.Add("ui_metrics", "hoge")

    req, err := http.NewRequest(
    "POST",
    "https://twitter.com/sessions",
    strings.NewReader(values.Encode()),
    )
    req.Header.Add("Content-Type", "application/x-www-form-urlencoded")

    jar, _ := cookiejar.New(nil)
    client := &http.Client{Jar: jar}
    resp, err := client.Do(req)
    ```

    このようにしても/login/errorにリダイレクトされます。
    本当に原因がわかりません。。。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.98%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る