open-uriでgoogle検索結果を取得しようとすると、503 Server Unavable (OpenURI::HTTPError)がでる

Question

open-uriでgoogle検索結果を取得するプログラムを作っています。

#!/usr/bin/ruby
# -*- encoding: utf-8 -*-
require 'nokogiri'
require 'open-uri'
require 'uri'

keyword = "Ruby"

keyword_escape = URI.escape(keyword)

uri = "http://www.google.co.jp/search?ie=UTF-8&oe=UTF-8&q=#{keyword_escape}&pws=0"

opt = {}
opt['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko'

doc = Nokogiri.HTML(open(uri, opt))

これを実行すると、

open-uri.rb:353:in `open': 503 Server Unavable (OpenURI::HTTPError)

というエラーがでます。

途中までは出てなかったエラーだったのですが、急に出始めました。
悪質なクローラーに対する対策のようで、User-Agentを偽装すればよいとの記事を見たので、やってみましたが解決しません。

なにか他にやりようはありますでしょうか？
よろしくお願いします。

Answer 1

Google側でそのようなアクセスを禁止していますので、ちょっとやそっとではうまく行きません。

利用規約の「Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません。」を根拠にした措置だと、503で帰ってくるページに書いてあった気もします。

Comments

[sayama]

禁止されていたのですね。
申し訳ありませんでした。
ありがとうございました。