ログイン状態を保ったままリンク先に移動したい
解決済
回答 2
投稿
- 評価
- クリップ 0
- VIEW 449
タイトルの通り、ログイン状態を保ったままリンク先に移動したいです。
ログインしてからリンク先のURLを取得してリンク先に移動するとログアウト状態になってしまうようです。
ログインしていないと一部取得できない項目があるため困っています。
やりたいことはこんな感じです。
ログインする --> 企業名を取得 --> リンク先URLを取得 --> リン先へ移動 --> tableタグをスクレイピング
import requests
import time
from bs4 import BeautifulSoup
login_user = 'xxxxx'
pwd = 'xxx'
login_data = {
'session[email]': login_user,
'session[password]': pwd
}
# ログイン
login_url = 'https://ja.nc-net.or.jp/search/equipment/?cl[]=1'
res = requests.session()
login = res.post(login_url, data=login_data)
time.sleep(2)
soup = BeautifulSoup(login.content, 'lxml')
# 企業名を取得
companys = soup.find_all(class_="ttl-h3-03")
# 企業ごとにリンク先に移動しtableタグをスクレイピング
for company in companys:
# リンク先URL
cmp_url = company.contents[0].attrs['href']
target_url = f"https://ja.nc-net.or.jp/{cmp_url}"
# 移動
r = requests.get(target_url)
soup = BeautifulSoup(r.content, 'lxml')
# tableタグを全て取得する
tables = soup.find_all('table', class_='tbl-data-01 print-page-break')
print(tables)出力すると、1件目のリンク先で下記のように「ログインをすると表示される」と出てしまいます
<tr>
<th>電話番号</th>
<td><a href="/login/">ログインをすると表示されます</a></td>
<th>FAX番号</th>
<td><a href="/login/">ログインをすると表示されます</a></td>
</tr>リンク先に移動する時にrequestsをしているのが、ログインのセッションと別のものになってしまう(?)のが原因なんじゃないかと思っています。
ただ、対処の方法がわかりません。
参考になるサイトも調べてみましたが見つけることができませんでした。
よろしくお願いします。
■バージョン等
python 3.8.1
vscode 1.48.2
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
+1
以下を
# 移動
r = requests.get(target_url)
こちらに変更してください
# 移動
r = res.get(target_url)res = requests.session()
これが1つのプライベートブラウザと考えてください
セッションを使用してログインした場合ブラウザが閉じるまでログイン状態が保たれます
しかしfor文内で新たにrequestsでアクセスすると新たにプライベートブラウザを開いてアクセスするようなものです。
ログインしたブラウザでアクセスしていないために起きたものとお考えください
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
checkベストアンサー
0
ログイン時のURLとパラメータが間違えている様です。
また慣例としてはページのレスポンスに対しresやrと変数を付ける事がよく見られますが
セッションに対しては[ログイン情報を保った状態でアクセスしている]と言う事がわかりやすい様に
変数名はresではなくsesと定義してあげる事をおすすめします。
以下のコードでログインした状態でのページの取得ができているかと思います。
print(soup)としてログイン後の情報が表示されているかお確かめください。
マイページやログアウトといった項目が表示されていれば正常にログインができている証拠です。
login_url = 'https://ja.nc-net.or.jp/login/'
login_data = {
'txtAccount': login_user,
'txtPassword': pwd
}
ses = requests.Session()
login = ses.post(login_url, data=login_data)
page_url = 'https://ja.nc-net.or.jp/search/equipment/?cl[]=1'
soup = BeautifulSoup(ses.get(page_url).content, 'lxml')
print(soup)あとはsk-sora--ypiさんが回答している様に
ログイン情報を保持した状態でスクレイピングを行いたいならば
for文内でのリクエストを行う際にもsesとしてスクレイピングを行うと良いでしょう。
sesを使用せず普通にrequests.getとしてしまうとログイン情報が切れてしまいます。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.09%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2020/12/08 09:48
r = res.get(target_url) に変更してみたのですが結果は同じでした。
ログインできていると思っていましたが、実はできていないということなのでしょうか。
2020/12/08 12:32 編集
postの引数はdataではなくparamsでは？
それでログインできていなければ
一度seleniumでログイン状態が保たれているか確認してはいかがですか
2020/12/08 16:33
そこを修正した結果、sk-sora--ypiさんからのアドバイスでうまくいきました。
どうもありがとうございました。