pythonでログインしてスクレイピングしたいがレスポンス500エラーになってしまう

Question

以下の記事を参考にpythonでQiitaへログインしてログイン後のページタイトルをスクレイピングしようとしてみましたが、ログイン前のタイトルが取得されてしまいます。

https://qiita.com/morinokami/items/46b76b365f030be83418

seleniumは使わないでログインしたいです。
python-3.6

from bs4 import BeautifulSoup
import requests

user="~"
pas="~"

payload = {
    'utf8': '✓',
    'identity': user,
    'password': pas
}

# authenticity_tokenの取得
s = requests.Session()
r = s.get('https://qiita.com')
soup = BeautifulSoup(r.text, 'html.parser')
auth_token = soup.find(attrs={'name': 'authenticity_token'}).get('value')
payload['authenticity_token'] = auth_token

#アクセストークンは正常に取得できている
print(auth_token)

# ログイン
res=s.post('https://qiita.com/login' ,data=payload)

#レスポンス500が返ってくる
print(res)

ss=s.get("https://qiita.com/settings/notifications")
soup = BeautifulSoup(ss.text, 'html.parser')
title=soup.find("title")

#ログイン後のタイトルなら「Qiitq」ログイン前は「Login - Qiita」が出力される
print(title)

s.post('https://qiita.com/login' ,data=payload)

がレスポンス500になってしまいます。

Answer 1

auth_tokenはloginページで取得したほうがいいんじゃないですかね?
あとこれくらいならBeautifulSoup使うまでもなく正規表現で済みますね。

r = s.get("https://qiita.com/login")
auth_token = re.search(r'authenticity_token.*?value="(.*?)"', r.text).group(1)
payload['authenticity_token'] = auth_token
res = s.post("https://qiita.com/login", data=payload)

で普通にログインできましたよ。

Comments

[postppo]

ありがとうございます！無事解決できました。