ログイン状態を保ったままリンク先に移動したい

Question

タイトルの通り、ログイン状態を保ったままリンク先に移動したいです。
ログインしてからリンク先のURLを取得してリンク先に移動するとログアウト状態になってしまうようです。
ログインしていないと一部取得できない項目があるため困っています。

やりたいことはこんな感じです。
ログインする --> 企業名を取得 --> リンク先URLを取得 --> リン先へ移動 --> tableタグをスクレイピング

import requests
import time
from bs4 import BeautifulSoup

login_user = 'xxxxx'
pwd = 'xxx'
login_data = {
   'session[email]': login_user,
   'session[password]': pwd
}

# ログイン
login_url = 'https://ja.nc-net.or.jp/search/equipment/?cl[]=1'
res = requests.session()
login = res.post(login_url, data=login_data)
time.sleep(2)

soup = BeautifulSoup(login.content, 'lxml')

# 企業名を取得
companys = soup.find_all(class_="ttl-h3-03")

# 企業ごとにリンク先に移動しtableタグをスクレイピング
for company in companys:
　　# リンク先URL
    cmp_url = company.contents[0].attrs['href']
    target_url = f"https://ja.nc-net.or.jp/{cmp_url}"
   # 移動
    r = requests.get(target_url)
    soup = BeautifulSoup(r.content, 'lxml')
    
    # tableタグを全て取得する
    tables = soup.find_all('table', class_='tbl-data-01 print-page-break')
    print(tables)

出力すると、1件目のリンク先で下記のように「ログインをすると表示される」と出てしまいます

<tr>
<th>電話番号</th>
<td><a href="/login/">ログインをすると表示されます</a></td>
<th>FAX番号</th>
<td><a href="/login/">ログインをすると表示されます</a></td>
</tr>

リンク先に移動する時にrequestsをしているのが、ログインのセッションと別のものになってしまう(?)のが原因なんじゃないかと思っています。
ただ、対処の方法がわかりません。
参考になるサイトも調べてみましたが見つけることができませんでした。
よろしくお願いします。

■バージョン等
python 3.8.1
vscode 1.48.2

Answer 1

以下を

   # 移動
    r = requests.get(target_url)

こちらに変更してください

   # 移動
    r = res.get(target_url)

res = requests.session()
これが1つのプライベートブラウザと考えてください
セッションを使用してログインした場合ブラウザが閉じるまでログイン状態が保たれます
しかしfor文内で新たにrequestsでアクセスすると新たにプライベートブラウザを開いてアクセスするようなものです。

ログインしたブラウザでアクセスしていないために起きたものとお考えください

Comments

[azzuro]

ご回答ありがとうございます。
r = res.get(target_url)　に変更してみたのですが結果は同じでした。
ログインできていると思っていましたが、実はできていないということなのでしょうか。

[sk-sora--ypi]

関係あるかはわかりませんが、sessionは最初の文字が大文字です
postの引数はdataではなくparamsでは？
それでログインできていなければ
一度seleniumでログイン状態が保たれているか確認してはいかがですか

[azzuro]

ntoさんからご指摘があったようにログイン用のURLとパラメータが間違えいたためログインできないでいたようです。
そこを修正した結果、sk-sora--ypiさんからのアドバイスでうまくいきました。
どうもありがとうございました。

Answer 2

ログイン時のURLとパラメータが間違えている様です。

また慣例としてはページのレスポンスに対しresやrと変数を付ける事がよく見られますが
セッションに対しては[ログイン情報を保った状態でアクセスしている]と言う事がわかりやすい様に
変数名はresではなくsesと定義してあげる事をおすすめします。

以下のコードでログインした状態でのページの取得ができているかと思います。
print(soup)としてログイン後の情報が表示されているかお確かめください。
マイページやログアウトといった項目が表示されていれば正常にログインができている証拠です。

login_url = 'https://ja.nc-net.or.jp/login/'
login_data = {
	'txtAccount': login_user,
	'txtPassword': pwd
}
ses = requests.Session()
login = ses.post(login_url, data=login_data)
page_url = 'https://ja.nc-net.or.jp/search/equipment/?cl[]=1'
soup = BeautifulSoup(ses.get(page_url).content, 'lxml')
print(soup)

あとはsk-sora--ypiさんが回答している様に
ログイン情報を保持した状態でスクレイピングを行いたいならば
for文内でのリクエストを行う際にもsesとしてスクレイピングを行うと良いでしょう。
sesを使用せず普通にrequests.getとしてしまうとログイン情報が切れてしまいます。

Comments

[azzuro]

もう一度見直したところ、おっしゃる通りログイン用のURLとパラメータが間違えていました。
繰り替えし情報を取りたいので、sk-sora--ypiさんのアドバイスにあったようにfor文の中でもセッションを保つことでやりたいことが実現できました。
先日から引き続きご回答いただき、ありがとうございました。