robobrowserでgoogle検索。取得できたurlと実際に表示されるurlの違いについて

スクレイピングの自動化をする際に、robobrowserを使用しようと思い、以下のコードを実行しました。pythonという単語で上位10件のurlを取得することが出来ました。
しかしそのurlからリンク先に飛んでみると、404などが多いことに気が付きました。

実際にブラウザを開き、グーグルから同じpythonという単語を入力するとリンクが切れているページはありません。
これはどういう事なのでしょうか？また、どのようにすれば手作業の閲覧したページのurlを取得することができるでしょうか？よろしくお願いいたします。

グーグルから「python」という単語を検索

python
1from robobrowser import RoboBrowser
2
3browser =RoboBrowser(parser='html.parser')
4# htmlパーサーを選択
5
6browser.open('https://www.google.co.jp/')
7# グーグルのトップページを開く
8
9form = browser.get_form(action='/search')
10# グーグルからフォームを取得
11
12form["q"] = 'python'
13# フォームのqという名前のフィールドに検索語を入力
14# inputタグがname="q"となっている
15
16browser.submit_form(form,list(form.submit_fields.values())[0])
17# 一つ目のボタンを押す
18
19for a in browser.select('h3 > a'):
20    print(a.text)
21    print(a.get('href'))
22

実行結果の上位三件だけ書きます。

Welcome to Python.org
/url?q=https://www.python.org/&sa=U&ved=0ahUKEwiFn5akusDbAhWGG5QKHTbRB0MQFggUMAA&usg=AOvVaw06k4cK-kTRbLmERjq5ExMU
専門知識いらず！Pythonとは？言語の特徴から網羅的に徹底解説 | 侍 ...
/url?q=https://www.sejuku.net/blog/7720&sa=U&ved=0ahUKEwiFn5akusDbAhWGG5QKHTbRB0MQFggfMAE&usg=AOvVaw1quffJiatq_wDyYTRtapMW
Python - ウィキペディア
/url?q=https://ja.wikipedia.org/wiki/Python&sa=U&ved=0ahUKEwiFn5akusDbAhWGG5QKHTbRB0MQFggpMAI&usg=AOvVaw1Q3vLCegiqQigy-NIqrrx5

スクリプトが取得してきたurlのリンク先

python公式
 侍エンジニア塾
 wkipedia

行動規範の内容に同意します

回答1件

ベストアンサー

通常のブラウザ操作で得られる検索結果ページ(HTML)と提示コードで得られる結果は異なっていると思われます。
提示された文字列/url?q=～から目的の文字列を得るには'?q\=(.+?)&'のような正規表現で可能だと思われますが、google検索結果のスクレイピングは認められていないようです。
詳細は以下を確認ください。
Rubyで作るクローラーについて２
 自動化されたクエリ

投稿2018/06/07 04:24