requestsを使ったpython経由のログインができなくて困っています

Question

###前提・実現したいこと
環境：python3.5.2 ＋ jupyter notebookです。
目標：beautifulsoup と requestsを使って、ID／パスワードがあらかじめわかっているサイトのログインしたあとのコンテンツを取得しようと思っています。
できたこと：同じ方針で作ったコードで、Qiita、自分の作ったDjangoのサイトのログイン後コンテンツの取得はできましたが、他の某サイトのログインがどうしてもできません。どなたか改善点がわかる方に教えていただけると大変助かりますm(_ _)m

###該当の事前調査及びソースコード
まずpost時に渡す変数群を調べるために、google choromeのデベロッパーツールでNetworkタブで、フォームの情報を調べました。

#FromDataの情報（個人的な情報は*で示しています。）
authenticity_token:***** #動的生成されるtoken
account:***** #IDに当たる部分
password:***** #パスワード
autologin:1 #おそらく再ログイン後に自動ログインするかのチェックボックスの値
x:***** #(数字2桁 ボタンのクリック位置のx座標？)
y:***** #(数字2桁 ボタンのクリック位置のy座標？)

次に以下のコードを試しました。

from bs4 import BeautifulSoup
import requests

#POST時の変数の設定（authenticity_tokenだけはセッション開始後で取得）
payload = {
    'account': '*****',
    'password': '*****',
    'autologin': '1',
    'x': '*****',
    'y': '*****',
}

#セッションオブジェクトの生成を行います
s = requests.Session()

# authenticity_tokenの取得
r = s.get('https://******.jp/')
soup = BeautifulSoup(r.text)
auth_token = soup.find(attrs={'name': 'authenticity_token'}).get('value')
payload['authenticity_token'] = auth_token

#ログインします
r = s.post('https://******.jp/', data=payload)

結果、r.textとコンテンツ内容を表示するように打つと、ログイン前画面の情報になり、ログインできていません。

###試したこと
x,yなどは、inputタグのnamaeに存在しなかったのであえて省いてpostしてみたりしたのですが、ログインできていません・・・助けてください~

Answer 1

パッと見た感じですと問題はなさそうに思います。
ユーザエージェントがブラウザっぽくなければ弾く、リファラが...等の対策をしているサイトもありますので
まずはユーザエージェントの設定を行ってみたらどうでしょうか。

payload['authenticity_token'] = auth_token

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

# ログインします
r = s.post('https://******.jp/', data=payload, headers=headers)

Comments

[bin_300K]

ありがとうございます！試してみましたが、だめでした・・・　ご協力感謝です^^

[toritoritorina]

サイト名が分かれば確実ですが、それが難しいようであればprint(r)でのステータスコードやr.text内に何らかのログインに関するメッセージありませんか。

[bin_300K]

起きました。ありがとうございます!^^　調べたところ

<meta name="robots" content="noindex,noarchive" />

というタグが見つかりました。これが原因でしょうか？？意味は、ロボットだとアクセス拒否の模様ですrequestsで回避する方法があれば良さそうですね、ちょっと調べてみます^^

[bin_300K]

mechanizeというpython2系で使えるモジュールでなんとか目的は達成しました、ありがとうございました。ただ、requestsでの解決方法が気になっています・・・ ご協力ありがとうございました！