requestsを利用したログインができない

概要

こちらのサイトhttps://www.kurashi.tepco.co.jp/pf/ja/pc/mypage/home/index.page?　
で、自分の家の電気料金を取得するプログラムを作成しようとしています。
将来的にAlexaの自作スキルに埋め込みたく、seleniumは使えません。

ログインができません。
ディベロッパーツールを使い必要なパラメーターを入力してPOSTしましたが、
取得できたのはエラーページでした。
何が原因なのか、いろいろ調べましたがwebは初心者でたどり着けず、こちらで質問することにしました。
アドバイスいただけると助かります。よろしくお願いいたします。

該当コード

import requests
from bs4 import BeautifulSoup

# URLの設定
url = "https://www.kurashi.tepco.co.jp/kpf-login"


login_param_denki = {
    "ACCOUNTID”:”xxx”,
    "PASSWORD”:”xxx”,
    "HIDEURL":"/pf/ja/pc/mypage/home/index.page?",
    "LOGIN":"EUAS_LOGIN"
}



#Responseオブジェクトの生成
res = requests.post(url, timeout=3, data=login_param_denki)
res.encoding = "utf-8"

soup = BeautifulSoup(res.text, "html.parser")
print(res.status_code)
print(res.text)

エラーメッセージ（抜粋）



  <section class="error-block">
    <p>
      申し訳ございません。システムエラーが発生しました。しばらく経ってから再度ご利用ください。
    </p>
    <p>エラーコード: 04-00001</p>
    <div class="c-frame__dash-border">
      <a href="/" class="c-btn c-btn--primary is-confirm"><em>戻る</em></a>
    </div>
  </section>

</div><!-- .contents -->

行動規範の内容に同意します

回答1件

ベストアンサー

ログインが必要なWebサイトはAPIではないのでセッションを使っているため、今のままログイン処理しようとするとエラーになります。なので request.session()を使って以下のようにコードを直せばログインできると思います。

python
1import requests
2from bs4 import BeautifulSoup
3
4# セッションを開始
5session = requests.session()
6
7# URLの設定
8url = "https://www.kurashi.tepco.co.jp/kpf-login"
9
10login_param_denki = {
11    "ACCOUNTID”:”xxx”,
12    "PASSWORD”:”xxx”,
13    "HIDEURL":"/pf/ja/pc/mypage/home/index.page?",
14    "LOGIN":"EUAS_LOGIN"
15}
16
17#Responseオブジェクトの生成
18res = res = session.post(url, data=login_param_denki)
19res.encoding = "utf-8"
20
21soup = BeautifulSoup(res.text, "html.parser")
22print(res.status_code)
23print(res.text)

以下の記事でも詳しく解説しているので参考にしてみるといいと思います
https://qiita.com/syunyo/items/36af8bcb501baf8c7014#request%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B

投稿2022/02/25 17:03

Supernove

総合スコア1154

mory0114

2022/02/26 01:39 編集

回答ありがとうございます。まずは、ログインだけでもと思ったので、セッションはいらないかと思ったのですが必要なのですね。アドバイスいただいた通り、セッションを追加してみましたが、ログインできませんでした。リンク先の記事を読んでみましたが、次のような記載がありました. >>>requests, BeautifulSoupによるスクレイピングは、初回レスポンスのHTMLをパースしているに過ぎないので、 >>>静的なページにしか対応していません。 >>>したがって、動的なページには弱いです。ログインしようとしているサイトには、そこまで動的なコンテンツはないのですがCAPTCHAが使われていて（ただ出てこないこともあります）、それもログインできない原因なのかなと思ったのですが、どうでしょうか。