質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

Error Occured : Failed to operate left operand --> @if(&SESSION_initpageopt==0);home@end_if;"

LEPIDOPTERA
LEPIDOPTERA

総合スコア2

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0リアクション

1クリップ

206閲覧

投稿2022/10/02 02:28

編集2022/10/02 03:20

前提

ログインが必要なサイト(https://web-m.cc.oita-u.ac.jp/cgi-bin/index.cgi )でスクレイピングをしようとしました。frameタグが3つあり、1つだけ Error Occured : Failed to operate left operand となっており、srcのリンクを開いても、中身を確認することはできませんでした。

【ブラウザのデベロッパーツール】
イメージ説明

【PythonのBeutifulSoup】
イメージ説明

【問題となっているリンクのBeutifulSoup】
イメージ説明

実現したいこと

https://web-m.cc.oita-u.ac.jp/cgi-bin/topframe.cgi?focus= のHTML構造をBeutifulSoupで確認したい。

該当のソースコード

Python

import requests from bs4 import BeautifulSoup import re import pandas as pd USER = "+++++" PASS = "++++" # 1.ログインページにアクセスする url_login = "https://web-m.cc.oita-u.ac.jp/cgi-bin/index.cgi" session = requests.session() # ログインページへのアクセス完了 req_before_login = session.get(url_login) # ログインするための情報を準備する login_data = { "domain": 'oita-u.ac.jp', "ismultisite": '', "chglang": '', "lang": '', "id": USER, "pwd": PASS,} # 2. ログインページで認証を行い、管理者ページへ遷移する req_after_login = session.post(url_login, data=login_data) # 3. 認証完了後のページで他ページへ遷移を行う url_group ='https://web-m.cc.oita-u.ac.jp/cgi-bin/topframe.cgi?focus=' req_group = session.get(url_group,timeout=(3,30)) soup = BeautifulSoup(req_group.text, 'lxml') print(soup) #soup.text

試したこと

Error内容をそのまま検索してみましたが、ヒットしませんでした。
sessionoutという文字があったので、よくわからず、timeout=(3,30)を付け足してみたりしましたが、何も変わりませんでした。

補足情報(FW/ツールのバージョンなど)

当該サイトの利用規約は確認しております。

MacOS Monterey バージョン12.5.1

エラーとなっていないframeタグのリンクは通常通り開くことができました。

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

melian

2022/10/02 02:36

掲載されているスクリプトに認証情報(ユーザ名とパスワード)が表示されていますが、問題ありませんか?
LEPIDOPTERA

2022/10/02 03:35 編集

ありがとうございます。 危ないところでした、すぐにパスワードを変更し、ログアウトしました。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。