Pythonを用いたスクレイピング。Requestsの実行。リダイレクト中

前提

Pythonで業務改善に取り組んでいます。
request.get()で取得した結果を見るとbody部分が「リダイレクト中」になり、
スクレイピングを行うことができません。

対象サイトのurlを貼ることはできませんが、
各ユーザーが任意に日記をアップロードするようなサイトです。

実現したいこと

そのために、requests.get()を実行可能にしたいです。

発生している問題・エラーメッセージ

<body>
リダイレクト中…。
</body>

該当のソースコード

Python
1res = requests.get(url)
2res.text

試したこと

Python
1from requests_html import HTMLSession
2
3session = HTMLSession()
4r = session.get()url)
5
6r.html.render()

を実行したところ、エラーメッセージ

Cannot use HTMLSession within an existing event loop. Use AsyncHTMLSession instead.

と表示されました。そのため、web上で見つけたコードを実行しました。

Python
1from requests_html import AsyncHTMLSession
2
3async def on_ready():
4    session = AsyncHTMLSession()
5    r = await session.get(URL)
6
7    print(r.html.text)

実行結果は

location.replace("~ +" location.hash );リダイレクト中…

となりました。
[追記]

Python
1res=requests.get(url,allow_redirects=False)

で実行すると

<body>
<center><h1>301 Moved Permanently</h1></center>
<hr/><center>nginx</center>
</body>

となりました。

補足情報（FW/ツールのバージョンなど）

Python,jupyter labを使用しています。

CHERRY

2022/10/27 12:44

> 301 Moved Permanently であれば、Webページが移転したということですので、リダイレクト先URL に再度アクセスする必要があります。サイトの情報が不明ですが、日記のようなサイトとかかれているので、ログイン情報がないためログイン画面にリダイレクトされているとかでしょうか。

KNTN

2022/10/28 02:50

コメントありがとうございます。 res=requests.get(url,allow_redirects=False)とした場合のみ、301 Moved Permanentlyとでたので、そこからリダイレクト先にアクセスしてみます。ご指摘の通り、ログインする必要がある仕様になります。

行動規範の内容に同意します

回答1件

自己解決

対象サイトが動的であったため、htmlとjavaで書かれていました。そのため、requestのみでは欲しい情報が取得できませんでした。下記の方法で実行するとgetメソッドにより、通常のサイト同様にスクレイピング可能となりました。

python
1import lxml
2from bs4 import BeautifulSoup
3from selenium import webdriver
4import chromedriver_binary
5
6
7driver = webdriver.Chrome()
8
9
10url = '対象サイト'
11
12
13driver.get(url)
14html = driver.page_source
15soup = BeautifulSoup(html, 'lxml')
16found = soup.select("ほしい属性'')