Error Occured : Failed to operate left operand --> @if(&SESSION_initpageopt==0);home@end

前提

ログインが必要なサイト(https://web-m.cc.oita-u.ac.jp/cgi-bin/index.cgi )でスクレイピングをしようとしました。frameタグが3つあり、1つだけ Error Occured : Failed to operate left operand となっており、srcのリンクを開いても、中身を確認することはできませんでした。

【ブラウザのデベロッパーツール】

【PythonのBeutifulSoup】

【問題となっているリンクのBeutifulSoup】

実現したいこと

・https://web-m.cc.oita-u.ac.jp/cgi-bin/topframe.cgi?focus= のHTML構造をBeutifulSoupで確認したい。

該当のソースコード

Python
1import requests
2from bs4 import BeautifulSoup
3import re
4import pandas as pd
5
6USER = "+++++"
7PASS = "++++"
8
9# 1.ログインページにアクセスする
10url_login = "https://web-m.cc.oita-u.ac.jp/cgi-bin/index.cgi"
11session = requests.session()
12# ログインページへのアクセス完了
13req_before_login = session.get(url_login)
14
15# ログインするための情報を準備する
16login_data = {
17  "domain": 'oita-u.ac.jp',
18  "ismultisite": '',
19  "chglang": '',
20  "lang": '',
21  "id": USER,
22  "pwd": PASS,}
23
24# 2. ログインページで認証を行い、管理者ページへ遷移する
25req_after_login = session.post(url_login, data=login_data)
26
27# 3. 認証完了後のページで他ページへ遷移を行う
28
29url_group ='https://web-m.cc.oita-u.ac.jp/cgi-bin/topframe.cgi?focus='
30req_group = session.get(url_group,timeout=(3,30))
31soup = BeautifulSoup(req_group.text, 'lxml')
32print(soup)
33#soup.text

試したこと

Error内容をそのまま検索してみましたが、ヒットしませんでした。
sessionoutという文字があったので、よくわからず、timeout=(3,30)を付け足してみたりしましたが、何も変わりませんでした。

補足情報（FW/ツールのバージョンなど）

当該サイトの利用規約は確認しております。

MacOS Monterey バージョン12.5.1

エラーとなっていないframeタグのリンクは通常通り開くことができました。

melian

2022/10/02 02:36

掲載されているスクリプトに認証情報(ユーザ名とパスワード)が表示されていますが、問題ありませんか？

LEPIDOPTERA

2022/10/02 03:35 編集

ありがとうございます。危ないところでした、すぐにパスワードを変更し、ログアウトしました。

行動規範の内容に同意します

回答1件

ベストアンサー

一般論として、ブラウザの挙動とまったく同じHTTPリクエストをPythonから送信できれば、結果もブラウザと同じになるはずです。なのに同じにならないのは、どこか違いがあるということになります。
スクレイピングでよくあるケースとしては、以下のリクエストヘッダです。

Referer
User-Agent

ですが、失礼ながら質問者さんの手に負えないのではないでしょうか。デバッグ過程で何回もエラーになっていると思いますが、これ、結構怪しいですよ。スクレイピング自体は合法な行為だと私は考えていますが、同じIPアドレスから継続的に認証エラーを起こしていることは、怪しまれても仕方ないと思いますので、この辺であきらめて、もう少し簡単なものからトライされたらどうでしょうか。

投稿2022/10/02 06:55