`open_http': 400 Bad Request (OpenURI::HTTPError)について

Question

現在VPSサーバ上にjenkinsを置いてrubyプログラムを動かしているのですがその際にタイトルのエラーがおきまして質問させていただきます

詳細はこちら

/var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:377:in `open_http': 400 Bad Request (OpenURI::HTTPError)
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:755:in `buffer_open'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:226:in `block in open_loop'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `catch'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:224:in `open_loop'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:165:in `open_uri'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:735:in `open'
    from /var/lib/jenkins/.rbenv/versions/2.5.1/lib/ruby/2.5.0/open-uri.rb:35:in `open'
    from .rb:17:in `block (2 levels) in <main>'
    from .rb:13:in `each'
    from .rb:13:in `block in <main>'
    from .rb:12:in `open'
    from .rb:12:in `<main>'
Build step 'Execute shell' marked build as failure
Archiving artifacts
Finished: FAILURE

該当のコードはこちらになります

def scraping(keyword)
    submit_keyword(keyword)
    @agent.page.search('div.g').map do |node|
      title = node.search('a')
      next if title.empty?
      query = URI.decode_www_form(URI(title.attr("href")).query)
      url = query[0][1]
      snipped = node.search('div.s > span.st')

      next if snipped.empty? || snipped.children.empty?
      {
        url: url,
        title: expect_tag(title.children.to_html),
      }

    end.reject do |list|
      list.nil?
    end
  end

query = URI.decode_www_form(URI(title.attr("href")).query)

def submit_keyword(keyword)
    @agent = Mechanize.new
    @agent.user_agent_alias = USER_AGENT
    @agent.get('https://www.google.co.jp/')
    @agent.page.form_with(name: 'f') do |form|
      form.q = keyword
    end.submit
  end

def expect_tag(string)
    string.gsub(/(<b>|</b>|<br>|</br>|\R)/, '')
  end

Googleにアクセスしてキーワードを抽出するプログラムなのですがローカルでは動いておりましてvps上では動いていないので何かjenkinsや他に同様のエラーで知見のある方がいらっしゃいましたらご教授いただけますと幸いです

よろしくお願い致します

Answer 1

そのVPSからGoogleへのアクセスは許可されていますか？

Comments

[yuzujoe]

コメントありがとうございます。
私の知識不足なのですがVPSからのアクセス権の見方ご存知でしたらご教授いただけますでしょうか？

[yuzujoe]

個人的に少し調べてみたのですがvpsにgoogle-chromeが入ってなかったので
以下の記事を参考にinstallしてみました。
https://www.karelie.net/how-to-install-google-chrome-on-centos7/

ですが結果特に変わらずでして他に方法ご存知であれば教えて頂けますと幸いです

[退会済みユーザー]

> VPSからGoogleへのアクセス状況について

いろいろな方法はありますが、まずは以下のコマンドを実行してみて 200 が返ってくるのを確かめるとよいと思います。

$ curl -I https://www.google.co.jp/

[yuzujoe]

ありがとうこざいます

```
$ curl -I https://www.google.co.jp/
```

こちらのコマンドではステータスで200帰ってきております！

[退会済みユーザー]

原因を探るにあたって、質問文を正確に書くことはできますか？

・一行目の query = URI.decode_www_form(URI(title.attr("href")).query)
は不要でしょう（か、使っているところを書いてください）
・USER_AGENTが定義されているところがありません
・Mechanizeが使われているのでrequireしているはずです
・submit_keywordを実行しているところがありません
・submit_keywordは可能ならばインデントを整えてください

[yuzujoe]

・一行目の query = URI.decode_www_form(URI(title.attr("href")).query)
は不要でしょう（か、使っているところを書いてください）
→不要なので削除しました

・Mechanizeが使われているのでrequireしているはずです
→こちらrequireしております

・submit_keywordを実行しているところがありません
→該当のコードを追加いたしましたのでご確認ください

・submit_keywordは可能ならばインデントを整えてください
こちらteratailさんの方にペーストするとズレるようでcode上では整っておりますのでご容赦ください

[yuzujoe]

失礼致しました。

他のものでのエラーを掲載していました。
再度掲載し直しますのでお待ちくださいませ