PythonでのWEB自動ログイン処理について

Question

前提・実現したいこと

ポータルサイトへの自動ログイン処理をPythonで書きたい。

本来の目的は、そのサイト内の情報をWEBスクレイピングで自動取得すること。
その前にログイン処理が必要となった。

発生している問題・エラーメッセージ

ログイン処理が正しいのかが分からない。
（初心者過ぎて、pythonやWebの仕組みがほとんど分からない。）

Traceback (most recent call last):
  File "C:\xxx\xxx\ファイル名.py", line 17, in <module>
    res.raise_for_status()
  File "C:\xxx\xxx\ファイル名.py", line 940, in raise_for_status
    raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 407 Client Error: authenticationrequired for url: 1ポータルサイトのURL

該当のソースコード

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

USER="自分のユーザ名"
PASS="自分のパスワード"

session = requests.session()

login_info = {
	"USER":USER,
	"PASSWORD":PASS
}

url_login = "ポータルサイトのURL"
res = session.post(url_login, data=login_info)
res.raise_for_status()

print(res.text)

試したこと

Google Chromeのデベロッパーツールで、以下の情報を元にログイン処理を作成した
※一部抜粋

<td class="em">サインインID:</td>
<input type="text" style="font-family:Tahoma" name="USER" size="30" onkeypress="return enterKey(event);>
<td class="em">パスワード:</td>
<input type="password" style="font-family:Tahoma" name="PASSWORD" size="30" onkeypress="return enterKey(event);>

補足情報（FW/ツールのバージョンなど）

Python 3.7.4

Answer 1

Python + Selenium の組み合わせで自動化できませんか？_

Comments

[etoshhy]

Seleniumは画面を自動操作するみたいなイメージですか？
取得したい情報がかなり細かいので、できればログイン処理～情報取得まで一発で処理したいです。
とりあえず、ログイン処理を何とかしたいですが。。。

[taro373]

私がデータを取得しようとしている先はログインが必要なページではありませんが、
Seleniumで表示されている内容をテキストファイルに出力して、
別プログラムで必要な部分を抽出しています。
>Seleniumは画面を自動操作するみたいなイメージですか？
はい、そうです。ブラウザが起動します。

Seleniumで直接指定した要素を取得することもできますが、
driver.page_source
でソースを取得して、慣れたpython（もしくは他の言語）で、必要なデータを
取り出した方がやりやすい、と考えました。

>取得したい情報がかなり細かい
のであれば、ソースを丸ごと取得しておいた方が、のちのち応用が利いて使えますよね

[etoshhy]

１ページの中にデータが細かくあるというよりは、
複数のリンク先から細かく情報を取りに行きます。

そのリンク分Seleniumで画面が動いて、ソースを取りにいくのは避けたいです。
手動でやった方が早くなるので。

その辺はうまくできるんですかね？
（まあこれ以上は自分でやってみないと、まともな質問もできなさそうですね。）