「Python」検索結果からh2タイトルを抜き出したい。スクレイピングに関して

Question

検索キーワードに対しての、1〜10位までのタイトル・各ページURL・各ページ内のh2タグを抽出したいです。

現在、キーワードに対する1位〜10位までのタイトル・URLは抜き出せていますが、各ページのh2タイトルが抜き出せていません。

どうもURLのコネクト部分がうまくできていないようです。
ただ、そのコネクトをどうしたらいいのかわかりません。

なるべく他のコードを変更しないコードで出力させることができないか模索中です。

import requests
from bs4 import BeautifulSoup

keywd = '温泉　入り方'
response = requests.get('https://www.google.com/search?q='+keywd)
soup = BeautifulSoup(response.text,'html.parser')

#検索する
titles = soup.select('h3')
for title in titles:
    print(title.get_text())

#URLの取得
page_urls = soup.select('cite')
for url in page_urls:
    print(url.get_text())

#各HTMLページに入り込む
h2_title = page_urls
response = requests.get(h2_title)
soup = BeautifulSoup(response.text,'html.parser')

for h2 in soup:
    print(h2)

出力結果

温泉の入り方の手順を1から教えます！マナーや禁止事項も紹介 ...

温泉ソムリエが教える！効果的な温泉の入り方 | 楽天トラベル
温泉の正しい入り方 － 温泉大辞典 － BIGLOBE温泉
温泉は入り方で効果が違う！？正しい温泉の入り方 ... - NAVER まとめ
温泉の入り方の基本マナーとは？ これだけは守りたい8箇条！ | 生活 ...
入浴の注意点・正しい温泉の入り方 ～温泉保養センター | 一般財団法人 ...
美人の湯の上手な温泉の入り方（入浴方法）についてのご案内 ｜ 霧島 ...
温泉や銭湯の正しい入り方で、美肌・健康効果を最大限に高める ...
上手な温泉の入り方 - 日本健康開発財団
温泉の入り方で効果が変わる！美肌効果をアップさせるコツとは ｜ 女性 ...
https://blog.pokke.in/hot-spring-how-to-take/
https://travel.rakuten.co.jp/mytrip/howto/onsen-hairikata/
https://travel.biglobe.ne.jp/onsen/jiten/hairikata_08.html
https://matome.naver.jp/odai/2138389396743566501
https://jinchan2016.net/681.html/
www.kousha.or.jp/spa_notes.php
https://www.you-yu.com/onsen/how-to/
https://letronc-m.com/548
www.jph-ri.or.jp/kenko/onsen/contents/jyozu.html
https://josei-bigaku.jp/onsenbihada1122/

以下エラー
Traceback (most recent call last):
File "/Users/rikiya/es.py", line 20, in <module>
response = requests.get(h2_title)
File "/Users/rikiya/.pyenv/versions/3.7.0/lib/python3.7/site-packages/requests/api.py", line 75, in get
return request('get', url, params=params, **kwargs)
File "/Users/rikiya/.pyenv/versions/3.7.0/lib/python3.7/site-packages/requests/api.py", line 60, in request
return session.request(method=method, url=url, **kwargs)
File "/Users/rikiya/.pyenv/versions/3.7.0/lib/python3.7/site-packages/requests/sessions.py", line 524, in request
resp = self.send(prep, **send_kwargs)
File "/Users/rikiya/.pyenv/versions/3.7.0/lib/python3.7/site-packages/requests/sessions.py", line 631, in send
adapter = self.get_adapter(url=request.url)
File "/Users/rikiya/.pyenv/versions/3.7.0/lib/python3.7/site-packages/requests/sessions.py", line 722, in get_adapter
raise InvalidSchema("No connection adapters were found for '%s'" % url)

**requests.exceptions.InvalidSchema: No connection adapters were found for **'[<cite>https://blog.pokke.in/hot-spring-how-to-take/</cite>, <cite>https://travel.rakuten.co.jp/mytrip/howto/onsen-hairikata/</cite>, <cite>https://travel.biglobe.ne.jp/onsen/jiten/hairikata_08.html</cite>, <cite>https://matome.naver.jp/odai/2138389396743566501</cite>, <cite>https://jinchan2016.net/681.html/</cite>, <cite>www.kousha.or.jp/spa_notes.php</cite>, <cite>https://www.you-yu.com/onsen/how-to/</cite>, <cite>https://letronc-m.com/548</cite>, <cite>www.jph-ri.or.jp/kenko/onsen/contents/jyozu.html</cite>, <cite>https://josei-bigaku.jp/onsenbihada1122/</cite>]'

Answer 1

指定ページからタイトル、要約文、キーワードとh2要素を抽出する関数を作成してみました。

以下を参考にしました。
[Python]Googleの検索結果をスクレイピングして、スプレッドシートに保存！
python program to read a url and extract its meta keyword and meta description

import requests
from bs4 import BeautifulSoup

def get_detail(url):
    titles,descs,kwords,h2s = [],[],[],[]

    try: # 古いサイトが読み込めないので無視する？
        res = requests.get(url)
        print(url,res.encoding,res.apparent_encoding)

        html = res.content.decode(res.apparent_encoding) # str(UNICODE)に統一
        soup = BeautifulSoup(html,'html.parser')

        # title
        for a in soup.find_all('title'):
            titles.append(a.get_text())

        # description,keywords
        # https://gist.github.com/jineshpaloor/6478011
        meta = soup.find_all('meta')
        for tag in meta:
            # nameとcontent属性を持つもののみ
            keys = tag.attrs.keys()
            if not ('name' in keys and 'content' in keys):
                continue
            name = tag.attrs['name'].strip().lower()
            cnt = tag.attrs['content']
            if name == 'description':
                descs.append( cnt)
            elif name == 'keywords':
                kwords.append( cnt)

        #h2
        for a in soup.find_all('h2'):
            h2s.append(a.get_text())

    except:
        import traceback
        traceback.print_exc()

    return titles,descs,kwords,h2s

with open('ret.txt','w',encoding='utf-8') as f:

    for url in ['https://www.example.com/',
                'https://google.co.jp/',
                'https://www.metatags.org/',
                'https://teratail.com/',
                'http://abehiroshi.la.coocan.jp/']:

        f.write('{}-----\n'.format(url))

        titles,descs,kwords,h2s = get_detail(url)

        f.write('titles={}\n'.format(titles))
        f.write('descs={}\n'.format(descs))
        f.write('kwords={}\n'.format(kwords))
        f.write('h2s={}\n'.format(h2s))

Answer 2

h2_title = page_urls
response = requests.get(h2_title)

'requests.get`にurlのリストをそのまま渡していますが、意図してのことでしょうか。

Comments

[keirr]

いえ、意図しているわけではなく、渡し方が分からずです。。

[morinatsu]

「#各HTMLページに入り込む」のなら、直前の`for url in page_urls:`と同様にループで回して、URLへのアクセスを1つ1つ行わないと……。

[keirr]

なるほど、そうすると大幅にコードの変更が必要でしょうか？

[morinatsu]

直前に`page_urls`のループがあるので、「#各HTMLページに入り込む」以下の処理もそのループの中に含める、くらいの変更です。