前提・実現したいこと
プログラミング初心者です、よろしくお願いします。
python3 bs4を使用して、googleの検索結果からURLとタイトルを取得しようとしています。
googleの検索結果のhtmlの要素構成をchromeのデベロッパーツールで確認した場合と、
pythonのbs4で読み込んで取得した場合で、構成、classが異なっています。
beautiful soup4の仕様なのでしょうか?
発生している問題・エラーメッセージ
■chromeの開発ツール上の要素の構成
html
1 2<div class="g"> 3 <!--m--> 4 <div data-hveid="SSSSSS" data-ved="AAA"> 5 <div class="rc"> 6 <div class="r"> 7 <a href="https://www.XXX.XXXXX.XXXXXX"> 8 <h3 class="LC20lb">hogehoge_hogehoge</h3> 9 </a> 10 </div> 11 </div> 12 </div> 13</div> 14
■pythonのbeautiful soup4でclass "g"を取得した場合
html
1<div class="g"> 2 <h3 class="r"> 3 <a href="href="https://www.XXX.XXXXX.XXXXXX""> 4 hogehoge_hogehoge 5 </a> 6 </h3> 7</div> 8
python3.6
試したこと
上記のchrome上のコードを参考にして、
soup.find("div",class_ = "rc")
を実行しても、”None"が返されます。
”googleの検索結果からURLとタイトルを取得”は先人の方のを参考にしています。
参考:URL
https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000
*この方の画像だと、ブラウザの開発ツールから見たclassが一致しています。
教えていただけると幸いです。
よろしくお願いします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/03/10 09:12
2019/03/10 13:42