requestsとBeautifulSoupでのスクレイピングがうまくいきません

Question

requestsとBeautifulSoupを利用して、以下のようにAtCoderの関連サイトからテーブルを取得して、勉強用の一覧を作ろうとしています。

URL = "https://kenkoooo.com/atcoder/#/table/"
res = requests.get(URL)

soup = BeautifulSoup(res.content, "html.parser") 
table_data = soup.find_all('tr')

コードの一部ですが、最下段での取得がうまくいきません。そもそも、requestsで取ってきているHTMLのデータ構造が意図しているものと違うように思います。webサイトのすべてのソースコードがとれていないように思うのですが、一体これはどういうことなのでしょうか。どうすると全てのデータが取れるのでしょう。

Comments

[nskydiving]

どういうデータ構造を意図していて、どう違っているのでしょうか？
それが分からないと回答しようがないと思いますので、質問欄へ追記をお願いします。

Answer 1

取得先の利用規約的にスクレイピングしちゃっていいんですか？

Answer 2

質問があやふやなのは修正依頼通り、利用規約も要確認だとして、
とりあえず想像でお答えすると
requestsでの取得ではjavascriptが動かないので、大抵ブラウザでの表示と同じ結果にはなりません。
ブラウザと同じ結果を取得したい場合Selenium等のツールを使う必要があります。

Comments

[fu_3823]

ありがとうございます。ご指摘の通りでした。
利用規約は作業前に調べたのですが、それらしき記載がなかったため、サーバに負荷をかけない程度であれば良いものと考えました。