googleにアクセスして検索ワードを取得するプログラムを作成してjenkins上で動かしております。
データの取得はできるのですが
jenkinsコンソール上に
/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:359:in `open_http': 400 Bad Request (OpenURI::HTTPError)
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:737:in `buffer_open'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:212:in `block in open_loop'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:210:in `catch'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:210:in `open_loop'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:151:in `open_uri'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:717:in `open'
from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:35:in `open'
from suggest-word.rb:17:in `block (2 levels) in <main>'
from suggest-word.rb:13:in `each'
from suggest-word.rb:13:in `block in <main>'
from suggest-word.rb:12:in `open'
from suggest-word.rb:12:in `<main>'
Build step 'シェルの実行' marked build as failure
成果物を保存中
Finished: FAILURE
このエラーが発生
該当の箇所は
doc = REXML::Document.new(open(url).read.encode("UTF-8"))
参考にしたもの
https://ja.stackoverflow.com/questions/9385/ruby%E3%81%AEopen-uri%E3%81%AE400-bad-request%E5%AF%BE%E7%AD%96%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6internet-archivearchive-org%E3%81%B8%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6
こちらの記事を参考にしているのですがいまいちよくわからず質問させていただいております。
どなたか知見がございましたらご教授頂けますと幸いです。よろしくお願い致します
追記
こちらにプログラムコードを追記致します
File.open('word.txt') do |file|
file.each do |line|
keyword = line.chomp
base_url = 'https://www.google.com/complete/search?h1=ja&output=toolbar'
url = "#{base_url}&q=#{keyword}"
doc = REXML::Document.new(open(url).read.encode("UTF-8"))
doc.elements.each('toplevel/CompleteSuggestion/suggestion') do |value|
....
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
0
doc = REXML::Document.new(open(url).read.encode("UTF-8"))
この時点でのurl
に何が入っているかログを取ってURLが正しいかを検証していくとよいでしょう。
また、実はGET以外のHTTPメソッドであるかやクッキーが必要でないかを確認する事も確認が必要です。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.35%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
otn
2019/08/18 22:19
GoogleにAPI使用以外でのプログラムでアクセスしていることが検知されるとIPアドレスがブロックされますよ。
一定時間で解けるはずですが。
yuzujoe
2019/08/19 10:21
ありがとうございます。
ローカルの環境下ではデータ自体はとってこれているので何か他の問題なのかなと思っております
その旨も記載しておきます