Python　スクレイピングについて

皆さん初めまして。
Pythonでスクレイピングを勉強最中の初心者です。
Yahoo!の最新ニュース等の<class>の部分をbeautiful soupで
スクレイピングしたり練習中です。

以下画像のこれはメルセデスベンツの認定中古車サイトなんですが
こちらをスクレイピングし、一番下の画像のエクセルファイルにまとめるのが
目標です。
<strong>や<td> 、<td class>、 <span class>、等やり方がわからないものが
多く出てきました。
コードや最後エクセルに画像のようにまとめ方をご教授下さいませんか？
また、詳しくやり方が書いてる参考書がありましたら教えて頂きたいです。

行動規範の内容に同意します

回答3件

スクレイピングの初心者？
Pythonの初心者？

どちらの初心者かはわかりませんが、メルセデスベンツの認定中古車サイトはJavaScriptによって動的にレンダリングされています。
通常のクロール手段ではそもそもコンテンツが拾えません。
いわゆるブラウザが必要です。

そのためブラウザ上からデベロッパーツールを用いてstrongなどのノード調査をしてもそもそもクロールした結果に対象のノードがないため、beautiful soupで拾えていないのではないでしょうか？
したがってやり方が分からない、ではなくやり方はあっているのだけれどもクロールが適切ではないため、想定する結果が得られていないのではないかと推測いたします。

先の方の動画を視聴すればできるようになると思いますが、なぜ自分のやり方ではだめだったのか、正しく理解しておいたほうがよろしいかと思います。

投稿2020/08/13 02:42