Python スクレイピング 狙ったページURLを取得できない

Question

閲覧いただきありがとうございます。

今回、Pythonでスクレイピングの勉強をしていまして、つまづいてしまいました。
ご教授いただきましたら幸いです。

import openpyxl
 
wb=openpyxl.load_workbook(r"C:\Users\hoge\hoge\fuga.xlsm")

ws = wb.worksheets[0]
values=[]
for row in ws["k"]:
    values.append(row.value)

    for val in values:
        import requests
        from bs4 import BeautifulSoup
        
        url = 'https://www.google.com/search'
        res = requests.get(url, params={'q':val})
        soup = BeautifulSoup(res.text,"html.parser")

        import re

        elems = soup.find_all(href=re.compile("www.qoo10.jp/"))#hrefにqoo10.jpが含まれている場合選択選択

        for elem in elems:


            print(elem.contents[0].text)#製品名はちゃんと取得できました。
            print(elem.attrs["href"])#hrefをctri+clickしてみたら対象する製品はありませんというページが出ました。

Excelを読み込みキーワード検索しまして、例としてqoo10のURLだった場合取得というコードを書いておりますが、print(elem.attrs["href"])で取得したURLを選択してみましたら該当する商品はありませんというQoo10のページが出ました。

キーワードを直接Googleの検索バーに入れて検索しましたら、製品ページのURLは取得できました。
なぜ、うまく検索できていないのかが全く分かりません。

どなたかお力をお貸しいただけましたら幸いです。
よろしくお願いいたします。

Comments

[fiveHundred]

以下の通り、Googleはスクレイピングを禁止しているそうです。
https://teratail.com/questions/140383#reply-212317

一部有料ですが、Googleが用意しているAPIを使ったほうがよろしいかと思います。

Answer 1

製品ページのURLが取得できてるなら、
hrefの値との差異を調べるだけで原因が分かりますね。

あなたが取得したURLが明示されていないので正確な回答はできませんが、
hrefの値を直接叩いても無理じゃないですか。

また、質問本文やコメントについて、
回答を要求するのであれば、解釈が一意となる様な記載にして下さい。

後、既に指摘されてますが、googleは避けて下さい。
勉強目的ならAPIの利用まで考えなくとも、規制されてない範囲でやればいいと思います。

Comments

[masa1975]

ありがとうございました。Googleはだめなんですね(;^_^A
勉強になりました。