検索結果のスクレイピングで特定のクラスの情報が取得できない

Question

前提・実現したいこと

Goolge検索結果のスクレイピングを実装しています。

実現したいことは、映画の英語名を検索した際に「検索した映画の日本語名」と「その画像」を取得することです。

例えば、「Shawshank Redemption, The (1994)」と検索すると、検索結果の右側にその映画の日本語名と画像が複数枚でてくると思いますが、その名前と画像1枚を取得したいと考えています。

発生している問題・エラーメッセージ

エラーではなく、次の該当コードを実行するとからのリストが返ってきてしまいます。

該当のソースコード

実行したコードです。
selectしているのはWEBの検証機能で得られたクラスです。

from bs4 import BeautifulSoup
import requests

def main(key):
    url = 'https://www.google.com/search?q=' + key
    result = requests.get(url)
    soup = BeautifulSoup(result.text, 'html.parser')
    title = soup.select('div.qrShPb kno-ecr-pt PZPZlf HOpgu mfMhoc')
    img = soup.select('div.fWhgmd')
    print(title)
    print(img)
    return 0

if __name__ == "__main__":
    main('Shawshank Redemption, The (1994)')

Answer 1

日本語のタイトルに関しては現状ではクラス名が BNeawe で始まる最初の div 要素から取得できる様です(将来的には変更されるでしょう)。画像の URL に関しては /imgres で始まる href 属性から取得できます(こちらも将来的には変更されるでしょう)。

from bs4 import BeautifulSoup
import requests
import re
import urllib.parse

def main(key):
    url = 'https://www.google.com/search?q=' + urllib.parse.quote(key)
    result = requests.get(url)
    soup = BeautifulSoup(result.text, 'html.parser')
    # japanese title
    title = soup.select('div[class^="BNeawe"]')
    if title: title = title[0].get_text()
    # image url
    img = []
    for i in soup.select('[href^="/imgres"]'):
        m = re.search(r'imgurl=(http.+?)&', i.get('href'))
        if m: img.append(m[1])
    # print result
    print(title)
    for nth, i in enumerate(img): print(f'{nth+1}: {i}')
    return 0

if __name__ == "__main__":
    main('Shawshank Redemption, The (1994)')
    main('2001: A Space Odyssey')
    main('Witness, (1985)')

#
ショーシャンクの空に
1: http://piacinema2.xtwo.jp/contents/google/flyer/114076.jpg
2: https://m.media-amazon.com/images/M/MV5BNjQ2NDA3MDcxMF5BMl5BanBnXkFtZTgwMjE5NTU0NzE@._V1_.jpg
3: https://m.media-amazon.com/images/M/MV5BMDFkYTc0MGEtZmNhMC00ZDIzLWFmNTEtODM1ZmRlYWMwMWFmXkEyXkFqcGdeQXVyMTMxODk2OTU@._V1_FMjpg_UX1000_.jpg
4: https://i1.wp.com/100bestmovie.com/wp-content/uploads/2018/07/shawshank_redemption-1994-1.jpg?fit%3D928%252C523%26ssl%3D1

2001年宇宙の旅
1: http://piacinema2.xtwo.jp/contents/google/flyer/148122.jpg
2: https://images-na.ssl-images-amazon.com/images/I/913KBjQ6saL.jpg
3: https://m.media-amazon.com/images/M/MV5BMmNlYzRiNDctZWNhMi00MzI4LThkZTctMTUzMmZkMmFmNThmXkEyXkFqcGdeQXVyNzkwMjQ5NzM@._V1_FMjpg_UX1000_.jpg
4: https://images-na.ssl-images-amazon.com/images/I/717Egt3-z6L.jpg

刑事ジョン・ブック 目撃者
1: https://encrypted-tbn3.gstatic.com/images?q%3Dtbn:ANd9GcSDd9_t1CNAXNLKc3K6_EcDj9bNcYJX3Ltbyxiu_DRKqC8RVoIK
2: http://www.houyhnhnm.jp/blog/moriyama/images/jedi_witness_movie.jpg
3: https://upload.wikimedia.org/wikipedia/en/thumb/b/bc/Witness_movie.jpg/220px-Witness_movie.jpg
4: https://godtv.com/wp-content/uploads/2017/03/witness-poster3.jpg

Comments

[tasojiro]

回答ありがとうございます。

HTMLの指定がとても勉強になりました。ありがとうございます。

Answer 2

Googleの検索結果ページは1枚のHTMLでドカっと表示してるわけではなく、非同期で結果データを別途リクエストしたものをスクリプトで埋めこむようになってます。

Chromeの開発者ツールで見ると、欲しい情報はHTMLじゃなくJSONに入ってるのが確認できます。

別の質問でも答えたんですが、BeautifulSoupは静的なHTML解析にしか使えず、スクリプトで組み立てる動的なサイトのスクレイピングには使えません。

最近はほとんど動的なサイトばかりだと思うので、別のツールを勉強をオススメします。

Answer 3

JavaScriptで追加した要素でしょう。requestsで得られるのは追加前のHTMLです。