質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

HttpWebRequest

HttpWebRequestとは.NETにおけるクラスであり、WebRequestクラスをHTTPに導入するものです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

解決済

requestsでログインができない

tetsuya7724
tetsuya7724

総合スコア57

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

HttpWebRequest

HttpWebRequestとは.NETにおけるクラスであり、WebRequestクラスをHTTPに導入するものです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1回答

0評価

0クリップ

146閲覧

投稿2022/06/28 03:08

編集2022/06/29 09:29

前提

スクレイピングでサイトにログインをしたいのですが、プログラムを再起動させるたびにログインするのは、サーバーに負担がかかるので、一度ログインしたらログイン情報を維持したいです。
そのために、requestsのpostをつかって一回目のログインを試しているのですが、ログイン認証が404となり失敗します。(対象のサイトは予めログアウト済み)

実現したいこと

requestsモジュールを使ってサイトにログインをして、ログイン情報を維持する。再度ログインする際に、ログイン情報を入力する必要をなくす。
パスワードの部分は隠していますが、アルファベットと数値の文字列です。

該当のソースコード

import re import time import requests from bs4 import BeautifulSoup URL = "https://www.palmie.jp/signin" # URL = "https://www.palmie.jp/signin/sessions" # 毎回ログインすることを防ぐためセッションモードを使う session = requests.session() req_before_login = session.get(URL) bs = BeautifulSoup(req_before_login.text, 'html.parser') login_data = { 'UTF-8': '✓', 'session[email]': "*******@mail.com", 'session[password]': "*******", } authenticity_token = bs.find('input', {'name': 'authenticity_token'}).get('value') print(authenticity_token) login_data['authenticity_token'] = authenticity_token # cookieの取得 response_cookie = req_before_login.cookies print(response_cookie) #<RequestsCookieJar[<Cookie _hogehoge_session=長いので省略 # post時にcookieを追加 login = session.post(URL, data=login_data, cookies=response_cookie) time.sleep(2) bs = BeautifulSoup(login.content, 'html.parser') print('--- ログイン情報 ---') print(login_data) print('---- 認証ページへのアクセス結果 ---') print(re.search(r'<title.*', req_before_login.text).group(0)) print(req_before_login.status_code) print('--- 認証完了ページへのアクセス結果 ---') print(re.search(r'<title.*', login.text).group(0)) print(login.status_code) # 結果 -------------------------------------------- # --- ログイン情報 --- # {'UTF-8': '✓', 'session[email]': 'te2ya7724@gmail.com', 'session[password]': 'H4ya4TtY', 'authenticity_token': '35pDm+ZGSqxzeX1Sj16y9WG6hN/amb5EYxnU2IDe/L8u4nRQr5HFVzdYBAQ9LxC15aKdVSTr7E5iyceCU9l0sg=='} # ---- 認証ページへのアクセス結果 --- # <title> # 200 # --- 認証完了ページへのアクセス結果 --- # <title> # 404

試したこと

こちらのサイトhttps://qiita.com/yosshi4486/items/b906d83ad64c133254e2
を参考にaction属性にある"sessions"をURLの最後につけましたが、サイトにアクセスすらできませんでした。

login = session.post()のあとに以下を追記
print(login.raise_for_status())
以下のようなエラーが発生しました。
requests.exceptions.HTTPError: 404 Client Error: Not Found for url: https://www.palmie.jp/

URLが見つかりませんとありますが、コピペでアクセスしたら普通に表示されます。

補足情報(FW/ツールのバージョンなど)

Win10

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

HttpWebRequest

HttpWebRequestとは.NETにおけるクラスであり、WebRequestクラスをHTTPに導入するものです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。