URL先のテキストを抜き出して（できれば、）テキストファイルに書き込みたいです。

Question

実現したいこと

以下のプログラムを用いて、入力されているURL先のテキストを出力させたいです。（そして、できれば出力結果をテキストファイルに書き込みたい...）
ただ、以下のプログラムにあるURLだと形式エラーが出てしまい、困っています。

前提

個人的には、URLに「txt」があるから少し他のURLと違うのかな...とは思いつつそこから先へ進めずいます。
ちなみに、普通のWEBURLは大丈夫でした...

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "d:/selfpy/chap01/hello.py", line 7, in <module>
    text = soup.find(class_='entry-content').get_text()
AttributeError: 'NoneType' object has no attribute 'get_text'

該当のソースコード

from bs4 import BeautifulSoup
import requests as req

url = 'https://kokkai.ndl.go.jp/txt/121104376X01420230418/235'
html = req.get(url).content
soup = BeautifulSoup(html, 'html.parser')
text = soup.find(class_='entry-content').get_text()
print(text)

試したこと

• soup.findのクラス部分をtxtに変更した
• get.text➡get.txt　に変更

補足情報（FW/ツールのバージョンなど）

些細な事、𠮟咤激励など含めてコメント等いただけると助かります。

Comments

[8524ba23]

print(html)なりで意図通りのHTMLが取得できているか確認してください。
もし意図通りでなければ、その原因について調べてみて分かったこと（分からなかったこと）を本文に追記ください。

[melian]

その URL は以下へリダイレクトされています。(response status code 301)

https://kokkai.ndl.go.jp/#/detail?minId=121104376X01420230418&spkNum=235&single

Answer 1

XMLHttpRequest(XHR) による API がありますので、そちらを使うとよいかと思います。

import json
import requests as req

url = 'https://kokkai.ndl.go.jp/txt/121104376X01420230418/235'

min_id, spk_num = url.split('/')[-2:]
url = f'https://kokkai.ndl.go.jp/minutes/api/v1/detail/list?minId={min_id}'
text = req.get(url).text
dic = json.loads(text)
text = [t['speech'] for t in dic['data'][0]['spk_inf'] if t['spk_num'] == int(spk_num)]
if text: text = text[0]
print(text)

# ○前原委員　国民民主党の前原誠司でございます。
# 　防衛力の財源確保法の質疑の前に、植田新総裁にお越しをいただいておりますので、金融政策について質問させていただきたいと思います。
# 　議院運営委員会の意見聴取のときにお尋ねしたことの確認に一つなるわけでございますけれども、平成二十五年一月二十二日に発表されました政府と日本銀行の共同声明について、新総裁として、見直しや新たな共同声明の発出は必要ないというお考えに変わりはありませんか。その点について御答弁ください。