python requests で取得した構造が実際のページ構造と違う

Question

前提・実現したいこと

pythonでクローラ作成しようとしています。
requestsを使ってページの構造を取得しようとしたのですが、目当ての項目を抽出しようとしたところ
何も返ってきませんでした。
取得した中身を見たところ実際のページの構造と違うように見えるのですが、ちゃんと抽出するためには
どのようにすればよいでしょうか。

なぜページの一部が返ってこないという現象が起きるのでしょうか。

該当のソースコード

import requests
import csv
import time
from bs4 import BeautifulSoup as bs

url = "https://hogehoge"
response = requests.get(url)
html = bs(response.text, "lxml")

試したこと

ページ構造はchromeの「検証」、「ページのソースを表示」両方に目当ての記述があるのを確認してます。

html = bs(response.text, "html.parser")
html = bs(response.text, "lxml-xml")
html = bs(response.text, "html5lib")

→パースの仕方かと思って色々試しましたが、そもそもresponse.textの状態で
抽出したい項目が入ってませんでした。

Answer 1

Pythonスクレイピングのフローチャート
https://imabari.hateblo.jp/entry/2018/12/17/163722

1. User-Agentをパソコンと同じにする
2. Javascriptでレンダリングされている
3. スクレイピング対策されている

1はrequests-htmlで取得
2はrequests-htmlでjavascriptをレンダリングしてから取得
3はわかりません

以下のプログラムで確認できます

Pythonでスクレイピング時にJavaScriptが必要か調べる
https://imabari.hateblo.jp/entry/2018/12/11/103841

あとChromeだとタグが補完されている場合があります

Answer 2

サイト側がUser-Agentヘッダの内容などからレスポンスを出し分けている可能性はないでしょうか。