python3.7でwebスクレイピングをする際、BeautifulSoupを用いてHTMLからselectメソッドで.r要素を抽出できない

Question

質問内容

webで複数の検索結果のリンクを開くプログラムを作成したところ、.select()メソッドで'.r a'という要素を指定しました。このコードを実行してもエラーはなく、正常に動作するのですが、なぜか一件もマッチしません。ブラウザを開き、同じURLを入力してHTMLのコードを確認したところ、a要素もclass="r"の要素も存在しており、両方の間にも要素があります。a要素のみでコードを実行したところ、複数件マッチするようになったのですが、.r要素のみで実行すると一件もマッチしません。.r要素をマッチさせるにはどうしたらいいでしょうか。

#! python3
# lucky.py - Google検索結果をいくつか開く

import requests, sys, webbrowser, bs4

print('Googling...') # Googleページをダウンロード中にテキストを表示
res = requests.get('http://google.com/search?q=ニュース')
res.raise_for_status()

# 上位の検索結果のリンクを取得する
soup = bs4.BeautifulSoup(res.text, features = "lxml")
link_elems = soup.select('.r a') # この要素が存在するのに抽出できない
print(len(link_elems))

# 各結果をブラウザのタブで開く
num_open = min(5, len(link_elems))
for i in range(num_open):
    print(link_elems[i].get('href'))
    webbrowser.open('http://google.com' + link_elems[i].get('href'))

試したこと

他の要素を入力して試したところ、divなどの要素名を入力したときはマッチします。しかし、.sなど、CSSクラス属性を入力したときはマッチしません。.r > aも試しましたが、やはりマッチしません。

追記

res.textの中身を確認したところ、開発者コードと比較して、ところどころ要素や属性の表記が省かれていました。おそらく、class="r"もここで省かれていると考えられます。これが省かれないようにする方法を検討してみます。

Comments

[meg_]

soupの中に対象の要素は含まれていますか？

[otn]

res.text の中身を確認していないのでは？

[deep_green]

返信いただきありがとうございます。
res.textの中身を確認したところ、実際のHTMLと比較して一部が欠けていたので、class="r"も省かれているようです。省かれずに全文を取得できる方法を検討します。

Answer 1

res.textの中身を確認したところ、実際のHTMLと比較して一部が欠けていたので、class="r"も省かれているようです。省かれずに全文を取得できる方法を検討します。

HTML取得後に、JavaScriptで追加されたノードでしょう。
requestsを使う場合にブラウザで確認するのは開発者ツールで表示される物（JavaScriptで追加されたノード含む）じゃなくて、画面右クリックで「ソースの表示」「ページのソースを表示」等で表示される物（サーバーから取得したHTMLそのもの)です。

JavaScriptで追加されたものを取得する場合は、ブラウザを使うSeleniumライブラリーを使うのが一般的なようです。