BeautifulSoupで取得するコードについて(質問)

Question

はじめまして、最近スクレイピングを学び始めました。
BeautifulSoupで取得してくるコードとGoogleの検証で見るコードが違うことがあるのですが、なぜ検証とは違ってしまうのですか？

Answer 1

Chromeの検証のことでしょうか？

考えられるのは

1. Chromeがタグ補完する（tbodyとか）
2. jQueryやJavascript等で動的にタグを書き換える

だと思います。

1についてはソースを表示で補完される前のソースが見れます。
ブラウザのソースだと2のjQueryやJavascript等でタグ書き換えは実行されているためbeautifulsoupとは違うこともあります。

補完については
ウェブブラウザのHTML補完におけるブラウザ間の差異
https://cpoint-lab.co.jp/article/201905/9621/

2についてはSeleniumとpuppeteer等でJavascriptを実行してからスクレイピングするとできます。
タグ書き換えの場合は目的のタグより後ろにJavascriptで書き換えているのでソースを確認してみてください