Pythonのスクレイピングにおける、最初のログインのエラー

Question

実現したいこと

Pythjon、スクレイピング初心者です。
Pythonを使って、あるWebページにおいてスクレイピングを行いたいです。

前提

まず、ログインページにおいてログインを行って、その後、特定のページに移動する、という事を行いたいのですが、最初のログインの所でエラーが出てしまっています。

ログインページは、メールアドレスとパスワードを入力してログインする形です。（重要かは分かりませんが、その下に「ログイン情報を保存する」のチェックボックスがあります。）

該当のHTML

メールアドレス入力のHTMLの該当蘭

<label class="control-group-label" data-bind="css: { 'is-active': isEmailActive }" for="email">メールアドレス</label>
<span class="error-message" data-bind="text: errors.email"></span>
<div class="control-group-item">
<input class="login-form-input" data-bind="value: form.email, css: { 'is-invalid': errors.email }, hasfocus: isEmailFocused, valueUpdate: 'afterkeydown'" id="email" type="email"/>
</div>

パスワード入力のHTMLの該当蘭

<label class="control-group-label" data-bind="css: { 'is-active': isPasswordActive }" for="password">パスワード</label>
<span class="error-message" data-bind="text: errors.password"></span>
<div class="control-group-item" data-bind="">
<input class="login-form-input" data-bind="value: form.password, css: { 'is-invalid': errors.password }, hasfocus: isPasswordFocused, valueUpdate: 'afterkeydown'" id="password" type="password"/>
</div>

「ログイン情報を保存」のHTMLの該当蘭

<div class="login-form-actions-row">
<button class="login-form-submit-button" data-bind="enable: isValid" type="submit">ログイン</button>
<label class="login-remember-me">
<input data-bind="checked: form.autoLogin" type="checkbox"/>ログイン情報を保存する
        </label>
</div>

該当のソースコード

import requests
from bs4 import BeautifulSoup

# ログインするための情報
payload = {
    'email': 'youremail',
    'password': 'yourpassword'
}

# セッションを作成
with requests.Session() as s:
    # ログインページを取得し、HTMLをパース
    login_url = 'https://example/auth/login'
    login_page = s.get(login_url)
    login_soup = BeautifulSoup(login_page.content, 'html.parser')
        
    # ログインする
    login_res = s.post(login_url, data=payload)

    if login_res.status_code == 200:
        # HTMLを取得する
        # 指定したURLにアクセスしてHTMLを取得
        target_url = 'https://example/target'
        response = s.get(target_url)
        
        # BeautifulSoupを使ってHTMLをパース
        target_soup = BeautifulSoup(response.content, 'html.parser')
        # BeautifulSoupなどを使用して、必要な情報を抽出する
        #...(省略)
    else:
        # ログインに失敗した場合の処理
        print("False")
        print(login_res.status_code)

発生している問題

ログインがうまくいかず、

False
403

こちらが出力されます。

問題点の予想等

なにぶん初心者なので、HTMLなどへの知見があまりないのですが、ログインのページがネット上で調べた時によくあった形ではなく、data-bindの形式な所に問題があるのかと思うのですが、如何せん対処法が思いつかないので、お力添えいただいただければ幸いです。

Comments

[meg_]

403エラーということはアクセス拒否されているのだと思います。スクレイピングを禁止しているサイトだったりしませんか？

[maltines]

一度規約を確認して問題はなかったと思うのですが...もう一度確認してみます。

Answer 1

どうやら、スクレイピングの利用が認められないサイトだったようです。今後は規約を詳細に確認したいと思います。