スクレイピングしたいのですが要素が見つからない。「検証」では出るがソースでは出ない

Question

前提・実現したいこと

あるサイトをスクレイピングしたいのですが、要素が見つからないと出ます。
JSでレンダリング？されているのかもしれないというとこまで調べましたが、その後どうすればいいかわかりません。

chromeを使っていますが、検証ではその要素はあります。
selenium, requestsでhtmlを取得するとその部分は何も書いていません。
ページのソースを表示でも出てきていません。

発生している問題・エラーメッセージ

要素がないと出る

該当のソースコード

検証の表示では下記のように表示

<div class="product-overview">
<div id="product-description" data-spm="1000023" class="product-description"><div class="origin-part box-sizing">
・
・
・
<script>window.adminAccountId=222402430;</script>
</div></div>
</div>

ソースを表示、取得したhtml

<div class="product-overview"><div class="lazy-load" style="height: 400px;"></div></div>

実行したpythonコード　
こちらはもちろん取得できるので何かの書き方が違うわけではないと思います。

if driver.find_element_by_css_selector(".product-description"):
 取得できた時
else:
 できていないとき
　　print('ないよ')
 

このクラス名ではないよと出てきます

if driver.find_element_by_css_selector(".product-overview"):
 取得できた時
else:
 できていないとき
　　print('ないよ')

試したこと

ユーザーエージェントを自分のものに設定したり、3つくらいのユーザーエージェントをランダムで取得したりして試したが無理でした。

補足情報（FW/ツールのバージョンなど）

mac
chrome
python 3.8.8

Comments

[otn]

> 実行したpythonコード　これでないよと出てきます
の部分はコピペミスですかね。Pythonコードじゃないです。

[su_da221]

コピペミスです修正しました

[otn]

driver.page_source を表示するとそこに目的タグはありますか？

[su_da221]

ないです！
検証ツール→要素の中には表示されているので多分jsで記述しています

[otn]

javascriptで追加したタグもdriver.page_sourceに含まれますよ。
Seleniumで制御されたブラウザの検証ツールでなく、別途手動で起動したブラウザの検証ツールをみているのでは？それでは駄目です。

[su_da221]

質問に書いているのですが、page_sourceで取得したHTMLには、該当箇所が記述されていませんでした。

Answer 1

他のところで教わりこちらは解決したんですが、次の問題が出ました。
https://teratail.com/questions/374209
時間ありましたら覗いてみてください。

原因が画面のサイズが違かったことと、コピー＞CSS セレクターでコピーした要素でいけました。

product-overview

こちらのクラスはないようでしたのでクラスを指定せず、div > div で繋いで行きましたがやはり該当箇所はないようです。