requestsを使ってTwitterID経由でqiitaにログインしたい

Question

qiitaにtwitter経由でログインするリダイレクトページ https://qiita.com/auth/twitter から必要な情報をPOSTしているはずなのですが、qiitaにログインできません。
その状態でもtwitterにはログインできるので https://twitter.com/oauth/authorize に送っているデータに間違いはないと思うのですが．．．

###該当のソースコード

import requests
from bs4 import BeautifulSoup

if __name__=='__main__':
    Login2QiitaFromTwiiterRedirectUrl = "https://qiita.com/auth/twitter"
    session = requests.Session()
    
    #ここにデータを送る（たぶん） 
    toTwitter_oauth_url = "https://twitter.com/oauth/authorize"
    
    req = session.get(Login2QiitaFromTwiiterRedirectUrl)    
    loginFormSoup = BeautifulSoup(req.text.encode(req.encoding), 'lxml')
    oauth_token = loginFormSoup.find(attrs={'id':'oauth_token'}).get('value')
    authenticity_token = loginFormSoup.find(attrs={'name':'authenticity_token'}).get('value')
    redirect_after_login = loginFormSoup.find(attrs={'name':'redirect_after_login'}).get('value')
    
    twitterID = "xxxxxxxxxxxxxx"
    twitterPw = "xxxxxxxxxxxxxx"
    dataset = {'authenticity_token':authenticity_token,
               'redirect_after_login':redirect_after_login,
               'oauth_token':oauth_token,
               'session[username_or_email]':twitterID,
               'session[password]':twitterPw
                }
    s = session.post(toTwitter_oauth_url, data=dataset)
    
    #ここでログインできているならばtwitterにもログインできているはず
    twitterPage = "https://twitter.com/settings/account"
    twitReq = requests.get(twitterPage, cookies = s.cookies)
    twitPageSoup = BeautifulSoup(twitReq.text.encode(twitReq.encoding), 'lxml')
    print("----------以下はtwitterから----------")
    content = twitPageSoup.find("div", attrs={"id":"username_fieldset"})
    reqbytwit = requests.request('GET', twitterPage)
    print("res from twit:\n",reqbytwit)
    if content is not None:
        print(content.find('input', attrs={'id':'user_screen_name'}).get('value'))
    else:
        print("twitterにログインできてないっぽい")
    print("----------以上twitter------------")    
    
    page = "https://qiita.com/settings/account"
    res = requests.request('GET', url=page, allow_redirects=False)
    print("res:\n", res)
    pagerequest = requests.get(page, cookies = s.cookies)
    print("request history:\n", pagerequest.history)
    qiitaSoup = BeautifulSoup(pagerequest.text.encode(pagerequest.encoding), 'lxml')
    
    print(qiitaSoup.h1)#ログインできてたらなにがしかそれなりのテキストが入るはず

このようになってしまいます

----------以下はtwitterから----------
res from twit:
 <Response [200]>
(twitterIDがここにくる)
----------以上twitter------------
res:
 <Response [302]>
request history:
 [<Response [302]>]
None

Comments

[matsu]

つまり、何故、302コードとなるのが分からないということですか？

[退会済みユーザー]

そうですね。ログインしてない状態でアカウント情報にアクセスしようとしたのでログインページにリダイレクトされたからという認識なのですが、なんでそうなるのかが分かっておりません。

Answer 1

大元の理由

OAuthベースのやり取りを完結させるためには、プロバイダー側(今回はtwitter)で認証が終わった後に、正しく認証されたことを伝えるためにコールバックURLへのリクエストが必要になります。
参考

この流れでそれができないことに対する解消法

通常では、ログイン後に自動で画面遷移するようになっていますが、コンソールベースだとそれができていないので、
明示的にリダイレクト先に一度アクセスする必要があります。
(よくある、「自動的に移動しない場合は」のパターンですね)

# twitter認証するところ
resp = session.post(toTwitter_oauth_url, data=dataset)


soup = BeautifulSoup(resp.text.encode(resp.encoding), 'lxml')
qiita_redirect_to = soup.select('.maintain-context')[0]['href']
session.get(redirect_to)

これを差し込めば、動くと思います

Comments

[退会済みユーザー]

丁寧なご回答ありがとうございます！
参考ページも読んで試してみたのですが、いただいたコードを差し込んでも同じ結果になりました。
コールバックurl (https://qiita.com/auth/twitter/callback?~) へのリクエストが必要なのかと思い以下のようなコードを書いてみたのですがこれもだめでした。

```
import re
~~~~~~~~~~~~
resp = session.post(toTwitter_oauth_url, data=dataset)

soup = BeautifulSoup(resp.text.encode(resp.encoding), 'lxml')
qiita_redirect_to = soup.select('.maintain-context')[0]['href']
oauth_verifier = re.findall('oauth_verifier=(.*?)$', qiita_redirect_to)
paramsset = {"oauth_token":oauth_token,
"oauth_verifier":oauth_verifier}
session.get(qiita_redirect_to, params = paramsset)
```