open-uri errorについて

Question

googleにアクセスして検索ワードを取得するプログラムを作成してjenkins上で動かしております。
データの取得はできるのですが

jenkinsコンソール上に

/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:359:in `open_http': 400 Bad Request (OpenURI::HTTPError)
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:737:in `buffer_open'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:212:in `block in open_loop'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:210:in `catch'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:210:in `open_loop'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:151:in `open_uri'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:717:in `open'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:35:in `open'
	from suggest-word.rb:17:in `block (2 levels) in <main>'
	from suggest-word.rb:13:in `each'
	from suggest-word.rb:13:in `block in <main>'
	from suggest-word.rb:12:in `open'
	from suggest-word.rb:12:in `<main>'
Build step 'シェルの実行' marked build as failure
成果物を保存中
Finished: FAILURE

このエラーが発生

該当の箇所は

doc = REXML::Document.new(open(url).read.encode("UTF-8"))

参考にしたもの

https://ja.stackoverflow.com/questions/9385/ruby%E3%81%AEopen-uri%E3%81%AE400-bad-request%E5%AF%BE%E7%AD%96%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6internet-archivearchive-org%E3%81%B8%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6

こちらの記事を参考にしているのですがいまいちよくわからず質問させていただいております。
どなたか知見がございましたらご教授頂けますと幸いです。よろしくお願い致します

追記

こちらにプログラムコードを追記致します

File.open('word.txt') do |file|
  file.each do |line|
    keyword = line.chomp
    base_url = 'https://www.google.com/complete/search?h1=ja&output=toolbar'
    url = "#{base_url}&q=#{keyword}"
    doc = REXML::Document.new(open(url).read.encode("UTF-8"))
    doc.elements.each('toplevel/CompleteSuggestion/suggestion') do |value|
....

Comments

[otn]

GoogleにAPI使用以外でのプログラムでアクセスしていることが検知されるとIPアドレスがブロックされますよ。
一定時間で解けるはずですが。

[yuzujoe]

ありがとうございます。
ローカルの環境下ではデータ自体はとってこれているので何か他の問題なのかなと思っております

その旨も記載しておきます

Answer 1

doc = REXML::Document.new(open(url).read.encode("UTF-8"))

この時点でのurlに何が入っているかログ取ってURLが正しいかを検証していくとよいでしょう。

また、実はGET以外のHTTPメソッドであるかやクッキーが必要でないかを確認する事も確認が必要です。

Comments

[yuzujoe]

コメントありがとうございます
urlの中身は(キーワードはsoccer)
```
https://www.google.com/complete/search?h1=ja&output=toolbar&q=soccer
```
となっていました。
httpリクエストの確認の方法などを知らなくもしご存知でしたら教えていただけないでしょうか